Продолжить тонкую настройку с сохраненных контрольных точек для run_language_modeling.py - PullRequest
Новая
       18

Продолжить тонкую настройку с сохраненных контрольных точек для run_language_modeling.py

0 голосов
/ 28 мая 2020

Я выполнил инструкции по настройке предварительно обученной модели BERT с настроенным корпусом, как показано здесь https://github.com/huggingface/transformers/tree/master/examples/language-modeling. В процессе обучения в указанном output_dir создаются контрольные точки, однако, когда я хотел продолжить обучение с одной из контрольных точек (--model_name_or_path = / path-to-ckpt /), он возвращает трассировку, которая 

Traceback (most recent call last):
  File "run_language_modeling.py", line 277, in <module>
    main()
  File "run_language_modeling.py", line 186, in main
    tokenizer = AutoTokenizer.from_pretrained(model_args.model_name_or_path, cache_dir=model_args.cache_dir)
  File "H:\Anaconda3\envs\env_name\lib\site-packages\transformers\tokenization_auto.py", line 203, in from_pretrained
    return tokenizer_class_py.from_pretrained(pretrained_model_name_or_path, *inputs, **kwargs)
  File "H:\Anaconda3\envs\env_name\lib\site-packages\transformers\tokenization_utils.py", line 902, in from_pretrained
    return cls._from_pretrained(*inputs, **kwargs)
  File "H:\Anaconda3\envs\env_name\lib\site-packages\transformers\tokenization_utils.py", line 1007, in _from_pretrained
    list(cls.vocab_files_names.values()),
OSError: Model name 'C:\\path-to-ckpt\\checkpoint-17500' was not found in tokenizers model name list (bert-base-uncased, bert-large-uncased, bert-base-cased, bert-large-cased, bert-base-multilingual-uncased, bert-base-multilingual-cased, bert-base-chinese, bert-base-german-cased, bert-large-uncased-whole-word-masking, bert-large-cased-whole-word-masking, bert-large-uncased-whole-word-masking-finetuned-squad, bert-large-cased-whole-word-masking-finetuned-squad, bert-base-cased-finetuned-mrpc, bert-base-german-dbmdz-cased, bert-base-german-dbmdz-uncased, bert-base-finnish-cased-v1, bert-base-finnish-uncased-v1, bert-base-dutch-cased). We assumed 'C:\\path-to-ckpt\\checkpoint-17500' was a path, a model identifier, or url to a directory containing vocabulary files named ['vocab.txt'] but couldn't find such vocabulary files at this path or url.

Насколько я понимаю, существует несоответствие между файлами, сохраненными в каталоге контрольной точки, и файлами, необходимыми для загрузки модели, кроме того, также может быть отсутствие явного аргумента для указания продолжения обучения с контрольных точек. Однако я не уверен, усложнял ли я что-то или есть альтернативный способ сделать это.

...