Как одновременно запустить задания Spark в одном кластере AWS EMR? - PullRequest
Новая
       98

Как одновременно запустить задания Spark в одном кластере AWS EMR?

0 голосов
/ 09 мая 2018

Можно ли одновременно отправлять и запускать задания Spark в одном кластере AWS EMR? Если да, то не могли бы вы уточнить?

Ответы [ 2 ]

0 голосов
/ 10 мая 2018

В настоящее время EMR не поддерживает параллельное выполнение нескольких шагов.Насколько я знаю, такая экспериментальная функция уже реализована, но не выпущена из-за некоторых проблем.

0 голосов
/ 09 мая 2018

Вы должны использовать тег --deploy-mode cluster, который позволит вам развернуть несколько выполнений в вашем кластере. Это заставит пряжу обрабатывать ресурсы и очереди для вас.

Полный пример: 

spark-submit \
  --class org.apache.spark.examples.SparkPi \
  --master yarn \
  --deploy-mode cluster \  # can be client for client mode
  --executor-memory 20G \
  --num-executors 50 \
  /path/to/examples.jar \
  1000

Подробнее здесь .

...