Отправка Spark Jobs в AWS EMR - PullRequest
0 голосов
/ 18 марта 2020

Я пытаюсь AWS EMR запустить python задание зажигания. Для отправки задания я использую команду aws cli, например:

aws emr add-steps --cluster-id j-qwertyy --steps Type=Spark,Name="SparkProgram",ActionOnFailure=CONTINUE,Args=[--py-files,probuff.py,--packages,org.apache.spark:spark-sql-kafka-0-10_2.11:2.4.4,main.py]

У меня установлена ​​и работает EMR со всеми установленными зависимостями и приложением, и мой код python находится в моей локальной системе, поэтому Мой вопрос заключается в том, что когда я отправляю задание с помощью вышеуказанной команды, он не может найти файл кода python и выдает ошибку в шагах в консоли. Пожалуйста, исправьте меня, если я ошибаюсь, я даю путь к коду, который присутствует в моем локальном. система.

...