Как добавить шаг EMR Spark?

Question

Согласно docs :

Для типа Step выберите Spark application.

Но в Amazon EMR -> Clusters -> mycluster -> Шаги -> Добавить шаг -> Тип шага, единственные варианты:

Answer 1

Есть два способа добавить шаги искры ЭМИ:

- с помощью command-runner.jar (пользовательское приложение)

spark-submit --class org.apache.spark.examples.SparkPi /usr/lib/spark/examples/jars/spark-examples.jar 10

Использование aws cli для того же

aws emr add-steps --cluster-id j-xxxxxxxx --steps Name="add emr step to run spark",Jar="command-runner.jar",Args=[spark-submit,--class,org.apache.spark.examples.SparkPi,/usr/lib/spark/examples/jars/spark-examples.jar,10]

- Приложение Spark

Answer 2

В вашем случае вы можете использовать command-runner.jar. Для типа шага пусть это будет Custom Jar из имеющихся у вас опций. Ознакомьтесь с этим изображением для подробностей.

Подробнее о command-runner.jar command-runner-usage

Answer 3

У меня нет опции Spark Application, потому что я создал кластер Core Had oop.

Когда я создавал кластер, в разделе «Конфигурация программного обеспечения» я должен был выбрать Spark, тогда у меня был бы параметр приложения Spark в разделе Тип шага.