Ошибка при запуске "config = RobertaConfig.from_pretrained (" /Absolute-path-to/BERTweet_base_transformers/config.json "" - PullRequest
Новая
       101

Ошибка при запуске "config = RobertaConfig.from_pretrained (" /Absolute-path-to/BERTweet_base_transformers/config.json ""

0 голосов
/ 16 июня 2020

Я пытаюсь запустить версию кода 'transformers' этого кода , чтобы использовать новую предварительно обученную модель BERTweet, и получаю сообщение об ошибке.

Следующие строки кода успешно выполнились в моем блокноте Google Colab: 


!pip install fairseq
import fairseq
!pip install fastBPE
import fastBPE

# download the pre-trained BERTweet model zipped file
!wget https://public.vinai.io/BERTweet_base_fairseq.tar.gz

# unzip the pre-trained BERTweet model files
!tar -xzvf BERTweet_base_fairseq.tar.gz

!pip install transformers
import transformers

import torch
import argparse

from transformers import RobertaConfig
from transformers import RobertaModel

from fairseq.data.encoders.fastbpe import fastBPE
from fairseq.data import Dictionary

Затем я попытался запустить следующий код: 

# Load model
config = RobertaConfig.from_pretrained(
    "/Absolute-path-to/BERTweet_base_transformers/config.json"
)
BERTweet = RobertaModel.from_pretrained(
    "/Absolute-path-to/BERTweet_base_transformers/model.bin",
    config=config
)

... и была отображена ошибка: 

---------------------------------------------------------------------------
OSError                                   Traceback (most recent call last)
/usr/local/lib/python3.6/dist-packages/transformers/configuration_utils.py in get_config_dict(cls, pretrained_model_name_or_path, **kwargs)
    242             if resolved_config_file is None:
--> 243                 raise EnvironmentError
    244             config_dict = cls._dict_from_json_file(resolved_config_file)

OSError: 

During handling of the above exception, another exception occurred:

OSError                                   Traceback (most recent call last)
2 frames
/usr/local/lib/python3.6/dist-packages/transformers/configuration_utils.py in get_config_dict(cls, pretrained_model_name_or_path, **kwargs)
    250                 f"- or '{pretrained_model_name_or_path}' is the correct path to a directory containing a {CONFIG_NAME} file\n\n"
    251             )
--> 252             raise EnvironmentError(msg)
    253 
    254         except json.JSONDecodeError:

OSError: Can't load config for '/Absolute-path-to/BERTweet_base_transformers/config.json'. Make sure that:

- '/Absolute-path-to/BERTweet_base_transformers/config.json' is a correct model identifier listed on 'https://huggingface.co/models'

- or '/Absolute-path-to/BERTweet_base_transformers/config.json' is the correct path to a directory containing a config.json file

Я предполагаю, что проблема в том, что мне нужно заменить '/ Absolute-path-to' на что-то другое, но если это так, на что его следует заменить? Вероятно, это очень простой ответ, и я чувствую себя глупо, спрашивая, но мне нужна помощь.

1 Ответ

2 голосов
/ 16 июня 2020

Прежде всего вы должны загрузить соответствующий пакет, как описано в readme github: 

!wget https://public.vinai.io/BERTweet_base_transformers.tar.gz

!tar -xzvf BERTweet_base_transformers.tar.gz

После этого вы можете щелкнуть значок каталога (в левой части экрана) и просмотреть загруженные данные. : colab folders

Щелкните правой кнопкой мыши BERTweet_base_transformers, выберите copy path и вставьте содержимое из буфера обмена в свой код: 

config = RobertaConfig.from_pretrained(
    "/content/BERTweet_base_transformers/config.json"
)

BERTweet = RobertaModel.from_pretrained(
    "/content/BERTweet_base_transformers/model.bin",
    config=config
)
...