Почему приложение spark работает не на всех узлах

Question

Я установил следующий искровой тест: https://github.com/BBVA/spark-benchmarks Я запускаю Spark поверх YARN на 8 рабочих, но у меня только 2 работающих исполнителя во время работы (TestDFSIO). Я также установил executor-cores на 9, но только 2 работают. Почему это случилось?

Я думаю, что проблема исходит от YARN, потому что у меня похожая (почти) проблема с TestDFSIO на Hadoop. Фактически, в начале задания работают только два узла, но затем все узлы выполняют приложение параллельно!

Обратите внимание, что я не использую HDFS для хранения!

Answer 1

Я решил эту проблему. Что я сделал, так это то, что я установил количество ядер на одного исполнителя равным 5 (--executor-cores), а общее количество исполнителей - 23 (--num-executors), которое было по умолчанию на уровне 2.