Я запускаю приложение в кластере Spark, используя режим клиента YARN с 4 узлами.Кроме главного узла доступно три рабочих узла, но Spark выполняет приложение только на двух рабочих.Рабочие выбираются случайным образом, при каждом запуске приложения не выделяются какие-либо конкретные рабочие.
Если работник не используется, в журналах печатаются следующие строки:
ИНФО Клиент: 54
client token: N/A
diagnostics: N/A
ApplicationMaster host: 192.168.0.67
ApplicationMaster RPC port: 0
queue: default
start time: 1550748030360
final status: UNDEFINED
tracking URL: http://aiserver:8088/proxy/application_1550744631375_0004/
user: root
команда spark-submit:
spark-submit --master yarn --class com.i2c.chprofiling.App App.jar \
--num-executors 4 --executor-cores 3 --conf "spark.locality.wait.node=0"
Почему мой клиент Spark YARN не работает на всех доступных рабочих машинах?