Есть ли способ подтвердить, является ли заданное мной задание на искру клиентом пряжи или кластером пряжи, используя Jobtracker или мастер приложений Spark?

Question

Я пытаюсь проверить, действительно ли команда задания искры с опцией spark-submit действительно работает в режиме yarn-client или yarn-cluster.

Я указываю режим master-delopy в самой команде, ноЯ хочу проверить статус задания позже.

Это больше с точки зрения контроля качества.

Мне было интересно, можно ли увидеть режим развертывания для конкретной работы из мастера отслеживания заданий или мастера приложений.

Answer 1

Для просмотра из командной строки добавьте аргумент флага --verbose в команду spark submit, и вы увидите его при запуске задания.

./bin/spark-submit \
  --verbose \
  --class com.test.spark.Driver \
  --master yarn \
  --deploy-mode cluster \
  test.jar

При запуске задания вы можете увидеть значение по умолчанию, а такжепользовательские аргументы переданы в spark-submit.

Answer 2

Пожалуйста, проверьте параметр конфигурации задания "spark.submit.deployMode".Конфигурацию можно посмотреть хотя бы на сервере Spark History на вкладке «Среда».