Начало работы: карточки модели Huggingface - PullRequest
Новая
       112

Начало работы: карточки модели Huggingface

0 голосов
/ 17 июня 2020

Я только недавно начал изучать библиотеку трансформаторов huggingface. Когда я попытался начать использовать код модели карты, например, модель сообщества 

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("emilyalsentzer/Bio_ClinicalBERT")
model = AutoModel.from_pretrained("emilyalsentzer/Bio_ClinicalBERT")

Однако я получил следующую ошибку: 

Traceback (most recent call last):
  File "test.py", line 2, in <module>
    tokenizer = AutoTokenizer.from_pretrained("emilyalsentzer/Bio_ClinicalBERT")
  File "/Users/Lukas/miniconda3/envs/nlp/lib/python3.7/site-packages/transformers/tokenization_auto.py", line 124, in from_pretrained
    "'xlm', 'roberta', 'ctrl'".format(pretrained_model_name_or_path))
ValueError: Unrecognized model identifier in emilyalsentzer/Bio_ClinicalBERT. Should contains one of 'bert', 'openai-gpt', 'gpt2', 'transfo-xl', 'xlnet', 'xlm', 'roberta', 'ctrl'

Если я попробую другой токенизатор, такой как «baykenney / bert-base-gpt2detector-topp92», я получаю следующую ошибку: 

OSError: Model name 'baykenney/bert-base-gpt2detector-topp92' was not found in tokenizers model name list (bert-base-uncased, bert-large-uncased, bert-base-cased, bert-large-cased, bert-base-multilingual-uncased, bert-base-multilingual-cased, bert-base-chinese, bert-base-german-cased, bert-large-uncased-whole-word-masking, bert-large-cased-whole-word-masking, bert-large-uncased-whole-word-masking-finetuned-squad, bert-large-cased-whole-word-masking-finetuned-squad, bert-base-cased-finetuned-mrpc, bert-base-german-dbmdz-cased, bert-base-german-dbmdz-uncased). We assumed 'baykenney/bert-base-gpt2detector-topp92' was a path or url to a directory containing vocabulary files named ['vocab.txt'] but couldn't find such vocabulary files at this path or url.

Я что-то пропустил, чтобы начать? Я чувствую, что карточки с моделями показывают, что этих трех строк кода должно быть достаточно для начала работы.

Я использую Python 3.7 и библиотеку преобразователей версии 2.1.1 и pytorch 1.5.

1 Ответ

2 голосов
/ 17 июня 2020

Пожалуйста, обновите вашу библиотеку трансформаторов как минимум до версии 2.4.0. Вы должны создать новую среду conda и установить все свои пакеты прямо из pypi с помощью pip, чтобы получить самую последнюю версию (в настоящее время 2.11.0).

...