Huggingface Transformers ByteLevelBPET токенизатор не найден

Question

Я пытаюсь запустить (новый) учебник здесь: https://huggingface.co/blog/how-to-train, но при попытке загрузить ByteLevelBPETokenizer произошла ошибка. Я начал с существующего env conda, а также попробовал с полностью свободным sh env, но оба выдают ту же ошибку:

Exception has occurred: ImportError cannot import name 'ByteLevelBPETokenizer' from 'tokenizers' (/home/james/anaconda3/envs/torch/lib/python3.7/site-packages/tokenizers/__init__.py)

Есть мысли о том, что может быть не так?

Я в Ubuntu 18.04, Python 3.7

Answer 1

Хорошо, получается, что transformers установщик тянет более старую версию (0.0.11). Итак ...

pip uninstall tokenizers
pip install tokenizers==0.4.2

... исправляет это. Это выдает предупреждение: ERROR: transformers 2.4.1 has requirement tokenizers==0.0.11, but you'll have tokenizers 0.4.2 which is incompatible., но это можно смело игнорировать (этот ответ пришел от @julien-c на huggingface / tokenizer).