Спарк по вопросам пряжи IO

Question

При планировании заданий зажигания на пряже есть ли возможность контролировать дом, если какие-либо исполнители размещены на физическом узле?

В настоящее время я установил spark.executor.cores на 4.

Теперь, когдаYARN размещает несколько исполнителей на одном узле данных, это потоки 4* #numberOfExecutorsOnSameNode, которые пытаются прочитать и, возможно, также обмениваются данными как HDFS, а временный каталог spark находится на тех же дисках.

Так что это приводит к огромным проблемам, связанным с заблокированнымиВремя IO.Получение SSD пока не вариант.Есть ли другие вещи, которые я могу попробовать?

Answer 1

Одним из быстрых решений является увеличение spark.executor.memory, так как это может привести к чрезмерному выделению памяти, но предотвратить запуск слишком большого числа исполнителей на одних и тех же узлах данных.