Я установил многоузловой кластер HDP с Spark и Yarn на EC2
Все узлы являются узлами данных.
Node3 является единственным узлом Spark Client.
Каждый раз, когда я запускаю задания spark в режиме yarn-client или yarn-cluster, он всегда инициализирует искровые исполнители на узле 3. В то время как я хочу, чтобы работа использовала все узлы.
Какие конфиги мне не хватает?
Я задаю MASTER = "yarn-client" в ambari, например, но это не решает проблему.
Спасибо за вашу помощь.
РЕДАКТИРОВАТЬ: Когда я запускаю оболочку spark с 30 исполнителями, она запускает 12 исполнителей на узле 3 и занимает 95% кластера. Таким образом, я предполагаю, что узел1 и узел2 не учитываются кластером пряжи для распределения ресурсов, таких как контейнеры / исполнители искры.
Не знаю, какой конфиг мне следует изменить, чтобы добавить узел 1 и узел 2 в ресурсы кластера