Как настроить учетные данные aws в проекте MLflow с использованием среды докера - PullRequest
Новая
       13

Как настроить учетные данные aws в проекте MLflow с использованием среды докера

1 голос
/ 18 мая 2019

Я работаю над проектом 'MLflow', и один вариант использования выглядит следующим образом. 

The MLflow running target/environment is docker.
Data lives on aws s3
When developing on a laptop. The laptop has an aws profile to access data. 
(When developing on EC2, the EC2 have role attached to access s3)

В настоящее время у меня есть учетные данные, хранящиеся на хосте как ~ ~ .aws / credential, и я могудоступ к s3 в хосте.Вопрос: в проекте MLflow, как заставить программу, работающую на Docker, получить доступ к файлам s3?

Обратите внимание, что вопрос не "в общем", как настроить докер.Вопрос является рекомендуемым способом выполнить настройку / настройку aws в проекте MLflow.Спасибо!

1 Ответ

1 голос
/ 11 июня 2019

Вы можете использовать том для данных приложения.

В частности, для учетных данных aws вы можете смонтировать сам каталог учетных данных,

Очевидно, вам нужно будет установить все необходимые зависимости для aws или mlflow. Но вот необходимые детали для добавления пользователя и монтирования учетных данных как тома.

Во-первых, в вашем Dockerfile, 

# add user with home directory
RUN useradd -m mlflow

# set default user
USER mlflow

# set working directory
WORKDIR /home/mlflow

Затем смонтировать во время бега, 

docker run -it -v "${HOME}"/.aws:/home/mlflow/.aws \
  mlflow

Примечание: убедитесь, что никогда не вводит жесткие коды внутри любых контейнеров Docker.

...