Почему мой клиент Spark Yarn не работает на всех доступных рабочих машинах? - PullRequest
Новая
       83

Почему мой клиент Spark Yarn не работает на всех доступных рабочих машинах?

0 голосов
/ 21 февраля 2019

Я запускаю приложение в кластере Spark, используя режим клиента YARN с 4 узлами.Кроме главного узла доступно три рабочих узла, но Spark выполняет приложение только на двух рабочих.Рабочие выбираются случайным образом, при каждом запуске приложения не выделяются какие-либо конкретные рабочие.

Если работник не используется, в журналах печатаются следующие строки:

ИНФО Клиент: 54 

 client token: N/A
  diagnostics: N/A
  ApplicationMaster host: 192.168.0.67
  ApplicationMaster RPC port: 0
  queue: default
  start time: 1550748030360
  final status: UNDEFINED
  tracking URL: http://aiserver:8088/proxy/application_1550744631375_0004/
  user: root

команда spark-submit: 

spark-submit --master yarn --class com.i2c.chprofiling.App App.jar \
--num-executors 4 --executor-cores 3 --conf "spark.locality.wait.node=0"

Почему мой клиент Spark YARN не работает на всех доступных рабочих машинах?

...