SPARK YARN: не удается отправить задание с клиента (org.apache.hadoop.ipc.Client - повторное подключение к серверу: 0.0.0.0/0.0.0.0:8032)

Question

Я пытаюсь отправить искровое задание на пряжу (без HDFS) в режиме HA.

Для отправки я использую org.apache.spark.deploy.SparkSubmit.Когда я отправляю запрос с машины с активным Resource Manager, он работает хорошо.Но если я пытаюсь отправить сообщение с компьютера с резервным диспетчером ресурсов, задание завершается с ошибкой:

DEBUG org.apache.hadoop.ipc.Client - Connecting to spark2-node-dev/10.10.10.167:8032
DEBUG org.apache.hadoop.ipc.Client - Connecting to /0.0.0.0:8032
org.apache.hadoop.ipc.Client - Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep

Однако, когда я отправляю запрос через командную строку (spark-submit), он хорошо работает как через активный, так и черезрезервный аппарат.

Что может вызвать проблему?

PS Используйте одинаковые параметры для обоих типов заданий на отправку: org.apache.spark.deploy.SparkSubmit и spark-submit запрос командной строки.И свойства yarn.resourcemanager.hostname.rm_id определены для всех хостов rm

Answer 1

Проблема была в отсутствии yarn-site.xml в пути к классу для jar-сообщения-отправителя.На самом деле спарщик jar не принимает во внимание YARN_CONF_DIR или HADOOP_CONF_DIR env var, поэтому не видит сайт пряжи.

Одно решение, которое я нашел, заключалось в том, чтобы поместить сайт пряжи в classpath jar.