Ходовые трансформаторы на docker - PullRequest
0 голосов
/ 12 июля 2020

Почему это работает в google colab, но не работает на docker?

Итак, это мой файл Docker.

FROM python:3.7
RUN pip install -q transformers tensorflow 
RUN pip install ipython
ENTRYPOINT ["/bin/bash"]

И я выполняю это.

from transformers import *
nlp = pipeline(
    'question-answering', 
    model='mrm8488/distill-bert-base-spanish-wwm-cased-finetuned-spa-squad2-es',
    tokenizer=(
        'mrm8488/distill-bert-base-spanish-wwm-cased-finetuned-spa-squad2-es',  
        {"use_fast": False}
    )
)

Но я получаю эту ошибку

   ...:                                                                                                                                                                             
Downloading: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 465/465 [00:00<00:00, 325kB/s]
Downloading: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 242k/242k [00:00<00:00, 796kB/s]
Downloading: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 112/112 [00:00<00:00, 70.1kB/s]
Downloading: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 135/135 [00:00<00:00, 99.6kB/s]
---------------------------------------------------------------------------
OSError                                   Traceback (most recent call last)
/usr/local/lib/python3.7/site-packages/transformers/modeling_tf_utils.py in from_pretrained(cls, pretrained_model_name_or_path, *model_args, **kwargs)
    461                 if resolved_archive_file is None:
--> 462                     raise EnvironmentError
    463             except EnvironmentError:

OSError: 

During handling of the above exception, another exception occurred:

OSError                                   Traceback (most recent call last)
<ipython-input-1-1f9fed95967a> in <module>
      5     tokenizer=(
      6         'mrm8488/distill-bert-base-spanish-wwm-cased-finetuned-spa-squad2-es',
----> 7         {"use_fast": False}
      8     )
      9 )

/usr/local/lib/python3.7/site-packages/transformers/pipelines.py in pipeline(task, model, config, tokenizer, framework, **kwargs)
   1882                 "Trying to load the model with Tensorflow."
   1883             )
-> 1884         model = model_class.from_pretrained(model, config=config, **model_kwargs)
   1885 
   1886     return task_class(model=model, tokenizer=tokenizer, modelcard=modelcard, framework=framework, task=task, **kwargs)

/usr/local/lib/python3.7/site-packages/transformers/modeling_tf_auto.py in from_pretrained(cls, pretrained_model_name_or_path, *model_args, **kwargs)
   1207         for config_class, model_class in TF_MODEL_FOR_QUESTION_ANSWERING_MAPPING.items():
   1208             if isinstance(config, config_class):
-> 1209                 return model_class.from_pretrained(pretrained_model_name_or_path, *model_args, config=config, **kwargs)
   1210         raise ValueError(
   1211             "Unrecognized configuration class {} for this kind of TFAutoModel: {}.\n"

/usr/local/lib/python3.7/site-packages/transformers/modeling_tf_utils.py in from_pretrained(cls, pretrained_model_name_or_path, *model_args, **kwargs)
    467                     f"- or '{pretrained_model_name_or_path}' is the correct path to a directory containing a file named one of {TF2_WEIGHTS_NAME}, {WEIGHTS_NAME}.\n\n"
    468                 )
--> 469                 raise EnvironmentError(msg)
    470             if resolved_archive_file == archive_file:
    471                 logger.info("loading weights file {}".format(archive_file))

OSError: Can't load weights for 'mrm8488/distill-bert-base-spanish-wwm-cased-finetuned-spa-squad2-es'. Make sure that:

- 'mrm8488/distill-bert-base-spanish-wwm-cased-finetuned-spa-squad2-es' is a correct model identifier listed on 'https://huggingface.co/models'

- or 'mrm8488/distill-bert-base-spanish-wwm-cased-finetuned-spa-squad2-es' is the correct path to a directory containing a file named one of tf_model.h5, pytorch_model.bin.

Однако это отлично работает в google colab . Этот Google Colab не требует запуска графического процессора, так почему бы ему не работать в docker? Какие зависимости мне могут не хватать? В сообщении об ошибке не видно, что зависимости могут отсутствовать, больше, чем модели, нет, но посмотрите: И да, эта модель существует "mrm8488/distill-bert-base-spanish-wwm-cased-finetuned-spa-squad2-es" в hugging.co

...