Я получаю сообщение об ошибке при слиянии словаря и слиянии текстовых файлов для токенизаторов, разработанных для Tensorflow roBERTa. Я прикрепил снимок ошибки !! [введите описание изображения здесь] [1]
Код: tokenizer = tokenizers.ByteLevelBPETokenizer (vocab_file = 'vocab_roberta_base. json', merges_file = 'merges_roberta_base.txt', нижний регистр = True, add_prefix_space = True)
ОШИБКА: отслеживание исключений (последний последний вызов) в () 1 MAX_LEN = 96 ----> 2 tokenizer = tokenizers.ByteLevelBPETokenizer (vocab_file = 'vocab_roberta_base. json' , merges_file = 'merges_roberta_base.txt') 3 sentiment_id = {'положительный': 1313, 'отрицательный': 2430, 'нейтральный': 7974}
/ usr / local / lib / python3 .6 / dist-packages / tokenizers / Implementations / byte_level_bpe.py в init (self, vocab_file, merges_file, add_prefix_space, строчные буквы, выпадение, unicode_normalizer, continue_subword_prefix, end_of_word_suixix_word_suffix_in_name_suffix) , ---> 33 end_of_word_suffix = end_of_word_suffix или "", 34) 35)
Исключение: ожидаемый идентификатор в строке 1 столбца 2