Невозможно выполнить шаг на работающей EMR - PullRequest
Новая
       10

Невозможно выполнить шаг на работающей EMR

0 голосов
/ 15 января 2020

У меня кластер EMR 5.28.1, работающий в AWS, но я забыл установить из библиотек python как часть действия bootstrap. Теперь, когда кластер работает, я просто пытался добавить шаг через консоль EMR. Вот мои настройки 

JAR: s3://us-east-1.elasticmapreduce/libs/script-runner/script-runner.jar
Main class: None
Arguments: s3://xxxx/install_python_libraries.sh

К сожалению, я получаю следующую ошибку: 

Cannot run program "s3://xxxxx/install_python_libraries.sh" (in directory "."): error=2, No such file or directory

Я не уверен, что я делаю неправильно. Сценарий оболочки выглядит следующим образом. 

#!/bin/bash -xe

# Non-standard and non-Amazon Machine Image Python modules:
sudo pip-3.6 install boto3
sudo pip-3.6 install xmltodict

Я также попробовал это, просто используя 'command-runner.jar', но я получаю ту же ошибку. Не могли бы вы помочь мне разобраться в проблеме, чтобы я делал это через консоль? Я хотел бы установить библиотеки на всех узлах - master и core.

Спасибо

...