отправить искровое задание из локальной конфигурации в emr ssh - PullRequest
Новая
       62

отправить искровое задание из локальной конфигурации в emr ssh

0 голосов
/ 26 июня 2019

Я новичок в искре.Я хочу отправить искровое задание из локального в удаленный кластер EMR.Я перехожу по ссылке, чтобы установить все необходимые условия: https://aws.amazon.com/premiumsupport/knowledge-center/emr-submit-spark-job-remote-cluster/

, вот команда, показанная ниже: 

spark-submit --class mymain --deploy-mode client --master yarn myjar.jar

Проблема: создание свечей не может быть завершено безошибка.Кажется, проблема с доступом.

Из документа aws мы знаем, что, получив мастер с пряжей, пряжа использует файлы конфигурации, которые я скопировал из EMR, чтобы узнать, где находятся мастер и подчиненные (yarn-site.xml),Поскольку мой кластер EMR находится в VPC, для доступа к которому требуется специальная конфигурация ssh, как я могу добавить эту информацию в пряжу, чтобы он мог получить доступ к удаленному кластеру и отправить задание?

1 Ответ

0 голосов
/ 24 июля 2019

Я думаю, что разрешение, предложенное в ссылке aws, больше похоже на - создайте локальную настройку искры со всеми зависимостями.
Если вы не хотите выполнять локальную настройку искры, я бы посоветовал сделать это проще:
1. Livy: для этого в настройках emr должен быть установлен livy. Отметьте это , это , это , и вы сможете сделать вывод из этого
2. EMR ssh: для этого необходимо, чтобы aws-cli был установлен локально, идентификатор кластера и файл pem использовались при создании кластера emr. Проверьте это
Например. aws emr ssh --cluster-id j-3SD91U2E1L2QX --key-pair-file ~/.ssh/mykey.pem --command 'your-spark-submit-command' (хотя выводит вывод команды на консоль)

...