Точка входа AWS Sagemaker SKlearn допускает несколько сценариев

Question

Я пытаюсь следовать руководству здесь , чтобы реализовать пользовательский конвейер вывода для предварительной обработки функций. Он использует Python Sklearn SDK, чтобы ввести пользовательский конвейер предварительной обработки из скрипта. Например:

from sagemaker.sklearn.estimator import SKLearn

script_path = 'preprocessing.py'

sklearn_preprocessor = SKLearn(
    entry_point=script_path,
    role=role,
    train_instance_type="ml.c4.xlarge",
    sagemaker_session=sagemaker_session)

Однако я не могу найти способ отправить несколько файлов. Причина, по которой мне нужно несколько файлов, заключается в том, что у меня есть собственный класс, используемый в конвейере sklearn, который необходимо импортировать из пользовательского модуля. Без импорта возникает ошибка AttributeError: module '__main__' has no attribute 'CustomClassName' при наличии пользовательского класса в том же файле preprocessing.py из-за того, как работает pickle (по крайней мере, я думаю, что это связано с pickle).

Кто-нибудь знает, возможна ли отправка нескольких файлов?

Новичок в Sagemaker, спасибо !!

Answer 1

Есть параметр source_dir, который "поднимет" каталог файлов в контейнер и поместит его в путь импорта.

Ваш сценарий точки входа должен быть помещен туда и на него есть ссылки из этого места.