Установка трансформаторов Pytorch в AWS Sagemaker

Question

Я пытаюсь установить пакет трансформаторов pytorch для моего AWS экземпляра Sagemaker для ноутбука. Тем не менее, он продолжает выдавать ошибку «Модуль не найден» для пакета, когда я запускаю сценарий точки входа.

Я видел в примере для TensorFlowModel, который требует установки env, но для Pytorch это не так ( Как загрузить python модули, которые недоступны в Sagemaker? ) , Во всяком случае, ниже мой код:

estimator = PyTorch(entry_point='model.py',
                role=role,
                framework_version='1.4.0',
                train_instance_count=2,
                train_instance_type='ml.c4.xlarge',
                source_dir = 'src',
                hyperparameters={
                    'train_path': 's3://bucket-train',
                    'validation_path': 's3://bucket-val',
                    'epochs': 3,
                    'backend': 'gloo'
                })

Answer 1

, хотя вы, возможно, выполняете эту команду из записной книжки SageMaker, учебное задание, которое вы запускаете с помощью оценщика PyTorch, не запускается на ноутбуке. Он работает на удаленной, эфемерной инфраструктуре. Вам необходимо установить пакет на эту удаленную машину. Вам нужно добавить в исходный каталог src файл requirements.txt, содержащий список дополнительных пакетов, которые вы хотите установить, например, transformers package