AWS EMR Bootstrap действие, вызывающее дополнительный файл

Question

Я хотел бы установить дополнительные библиотеки python при настройке AWS EMR (выпуск 6.0.0)

Я знаю, что могу сделать это, создав файл boostrap. sh и загрузив для этого файла укажите s3 и задайте действие bootstrap для вызова этого файла при настройке кластера. Содержимое bootstrap. sh:

sudo pip3 install mlxtend imbalanced-learn etc etc...

Однако у меня есть отдельный файл require.txt, в котором содержится список всех моих библиотек python, которые мне нужны.

Если я поместите 'pip3 install -r needs.txt' в bootstrap. sh, bootstrap. sh не сможет найти require.txt, поскольку мне разрешено загружать только один файл s3 на действие bootstrap .

Есть ли способ обойти это?

Answer 1

Вы можете скопировать файл needs.txt из корзины S3 в локальный каталог узла EMR, а затем запустить файл pip install, например,

#!/bin/bash

aws s3 cp s3://<my-bucket>/requirements.txt .
sudo pip-3.6 install -r requirements.txt