Как работает spark-submit. sh с разными режимами и разными менеджерами кластеров? - PullRequest
Новая
       97

Как работает spark-submit. sh с разными режимами и разными менеджерами кластеров?

0 голосов
/ 14 марта 2020

В Apache Spark, как работает spark-submit. sh работает с разными режимами и разными менеджерами кластеров? В частности:

В режиме локального развертывания

  • выполняет ли spark-submit. sh пропустить вызов любого менеджера кластера?
  • Правильно ли, что нет необходимости устанавливать менеджер кластера на локальном компьютере?

В режиме развертывания клиента или кластера,

  • Работает ли spark-submit. sh с разными менеджерами кластеров (Spark standalone, YARN, Mesos, Kubernetes)? Разные менеджеры кластеров имеют разные интерфейсы, и spark-submit. sh должен вызывать их по-разному?

  • Имеет ли spark-submit. sh для программистов один и тот же интерфейс кроме --master? опция --master для spark-submit. sh используется для указания менеджера кластера.

Спасибо.

1 Ответ

1 голос
/ 16 марта 2020

Чтобы прояснить ситуацию, совершенно не нужно указывать какой-либо диспетчер кластеров при запуске spark в любом режиме (client или cluster или если вы запускаете spark в режиме local). Диспетчер кластеров существует только для того, чтобы сделать распределение ресурсов более простым и независимым, но вы всегда можете использовать один из них или нет.

Команда spark-submit не требует наличия диспетчера кластера.

Различные способы использования команды:

1) local режим: 

./bin/spark-submit \
  --class org.apache.spark.examples.SparkPi \
  --master local[8] \
  /path/to/examples.jar \
  100

2) client режим без менеджера ресурсов (также известный как Искровой автономный режим ): 

./bin/spark-submit \
  --class org.apache.spark.examples.SparkPi \
  --master spark://207.184.161.138:7077 \
  --executor-memory 20G \
  --total-executor-cores 100 \
  /path/to/examples.jar \
  1000

3) cluster Режим с искровым автономным режимом: 

./bin/spark-submit \
  --class org.apache.spark.examples.SparkPi \
  --master spark://207.184.161.138:7077 \
  --deploy-mode cluster \
  --supervise \
  --executor-memory 20G \
  --total-executor-cores 100 \
  /path/to/examples.jar \
  1000

4) Клиент / Кластерный режим с менеджер ресурсов: 

./bin/spark-submit \
  --class org.apache.spark.examples.SparkPi \
  --master yarn \
  --deploy-mode cluster \  # can be client for client mode
  --executor-memory 20G \
  --num-executors 50 \
  /path/to/examples.jar \
  1000

Как вы можете видеть выше, spark-submit. sh будет вести себя одинаково независимо от того, есть менеджер кластера или нет. Также, если вы хотите использовать менеджер ресурсов, такой как yarn, mesos, поведение spark-submit останется прежним. Вы можете узнать больше о spark-submit здесь .

...