AWS Sagemaker - установите внешнюю библиотеку и сделайте так, чтобы она сохранялась

Question

У меня запущен экземпляр Sagemaker, и у меня есть несколько библиотек, которые я часто использую с ним, но каждый раз, когда я перезапускаю экземпляр, они стираются, и мне приходится переустанавливать их. Можно ли установить мои библиотеки в одну из сред anaconda и сохранить изменения?

Answer 1

Поддерживаемый способ сделать это для экземпляров ноутбуков Sagemaker - Конфигурации жизненного цикла .

Вы можете создать onStart ловушку жизненного цикла, которая может устанавливать необходимые пакеты в соответствующие среды Conda при каждом запуске экземпляра вашего ноутбука.

Для получения более подробной информации см. Следующий пост в блоге

https://aws.amazon.com/blogs/machine-learning/customize-your-amazon-sagemaker-notebook-instances-with-lifecycle-configurations-and-the-option-to-disable-internet-access/

Answer 2

При создании модели вы можете указать require.txt в качестве переменной среды.

Например,

env = {
    'SAGEMAKER_REQUIREMENTS': 'requirements.txt', # path relative to `source_dir` below.
}
sagemaker_model = TensorFlowModel(model_data = 's3://mybucket/modelTarFile,
                                  role = role,
                                  entry_point = 'entry.py',
                                  code_location = 's3://mybucket/runtime-code/',
                                  source_dir = 'src',
                                  env = env,
                                  name = 'model_name',
                                  sagemaker_session = sagemaker_session,
                                 )

Это обеспечит запуск файла требований после создания док-контейнера, прежде чем запускать какой-либо код на нем.