Как прочитать файл .pkl объекту токенизатора?

Question

Я использую

 pickle.dump(tokenizer, open(TOKENIZER_MODEL, "wb"), protocol=0)

для создания файла .pkl, когда я пытаюсь прочитать его, используя

pickle.load(open('tokenizer.pkl'))

, он вызывает

TypeError: требуется объект, подобный байтам, а не str

, но когда я пытаюсь изменить этот объект на объект, подобный байтам, используя

tkr = open('tokenizer.pkl')
bytes(tkr,encoding='utf-8')

он вызывает

TypeError: кодирование без строкового аргумента

Я думал, что если есть способ прочитать этот файл .pkl или файл io.TextIOWrapper для объекта токенизатора ?

Answer 1

Хорошо, я никогда не использовал рассол, но, попробовав его очень быстро в repl.it, я думаю, что ваша проблема в этой строке

pickle.load(open('tokenizer.pkl'))

Должно быть

pickle.load(open('tokenizer.pkl','rb'))

Answer 2

Если вы хотите прочитать файл, вам нужно написать

file = open('tokenizer.pkl', 'rb')    
pickle.load(file)

• 'r' означает режим чтения
• 'b' означает двоичный режим