Установить пакеты в терминале терминала Jupyter Amazon Amazon Sagemaker - PullRequest
Новая
       20

Установить пакеты в терминале терминала Jupyter Amazon Amazon Sagemaker

0 голосов
/ 30 ноября 2018

У меня есть проект в Amazon-Sage-Maker.Для этого мне нужно удалить определенные пакеты и установить другие в терминале.Но каждый раз, когда я закрываю или останавливаю экземпляр, мне нужно идти к терминалу и заново выполнять все установки.Почему это происходит?

Пакет, с которым я экспериментирую с этой проблемой, это psycopg2: 

import psycopg2

Дает мне предупреждение, которое предлагает мне удалить его и установить psycopg2-binary.Поэтому я открываю терминал и код: 

pip uninstall psycopg2

Затем в блокноте я кодирую: 

import psycopg2

И у меня нет проблем, но если я закрою и открою экземпляр обратно, яполучить ту же ошибку и придется пройти через весь процесс снова.

Ответы [ 2 ]

0 голосов
/ 14 декабря 2018

Спасибо за использование SageMaker.Установленные пакеты не сохраняются при перезапуске экземпляра Notebook.Чтобы не устанавливать его вручную каждый раз, вы можете создать конфигурацию жизненного цикла, которая установит ваши пакеты и прикрепит его к вашему экземпляру Notebook.Сценарий в Lifecycle Config будет запускаться каждый раз, когда вы перезапускаете свой экземпляр Notebook.

Для получения дополнительной информации об использовании Lifecycle Config вы можете проверить: https://aws.amazon.com/blogs/machine-learning/customize-your-amazon-sagemaker-notebook-instances-with-lifecycle-configurations-and-the-option-to-disable-internet-access/

0 голосов
/ 04 декабря 2018

@ anitasp, Вы должны создать образ Docker, выполнив следующие действия:

Обязательно установите разрешения политики ролей выполнения SageMaker для AWS IAM (кроме S3), а также для AmazonEC2ContainerServiceFullAccess, AmazonEC2ContainerRegistryFullAccess и AmazonSageMakerFullAccessAll.

Создать и запустить экземпляр в SageMaker и Открыть записную книжку.Клонируйте структуру каталогов, показанную здесь в вашем экземпляре: https://github.com/RubensZimbres/Repo-2018/tree/master/AWS%20SageMaker/Jupyter-Folder

Внутри Jupyter запустите: 

! sudo service docker start
! sudo usermod -a -G docker ec2-user
! docker info
! chmod +x decision_trees/train
! chmod +x decision_trees/serve
! aws ecr create-repository --repository-name decision-trees
! aws ecr get-login --no-include-email

Скопируйте и вставьте имя входа в командной строке ниже 

! docker login -u abc -p abc12345 http://abc123

Run 

! docker build -t decision-trees .
! docker tag decision-trees your_aws_account_id.dkr.ecr.us-east-1.amazonaws.com/decision-trees:latest
! docker push your_aws_account_id.dkr.ecr.us-east-1.amazonaws.com/decision-trees:latest
! aws ecs register-task-definition --cli-input-json file://decision-trees-task-def.json

И адаптироваться к вашим потребностям в соответствии с алгоритмом по вашему выбору.Вам понадобится Dockerfile, hyperparameters.json и т. Д.

Документированный проект находится здесь: https://github.com/RubensZimbres/Repo-2018/tree/master/AWS%20SageMaker

...