EMR искра не соблюдает номер исполнителя conf

Question

Я использую --num-executor с EMR spark-submit, но conf не получает чести. Работа выполняется с несколькими исполнителями, даже если я установил --num-executor 1. Я пробовал это с другим типом экземпляра EC2, и число исполнителей, которые он запускает по умолчанию, кажется, зависит от типа экземпляра.

Answer 1

Я думаю, что динамическое распределение c активно. Вы должны деактивировать этот параметр в конфигурациях спарк или отправить в строке спарк-отправки, как это:

spark-submit --conf spark.dynamicAllocation.enabled=false --class ...