spark.executor.instances over spark.dynamicAllocation.enabled = True

Question

Я работаю в проекте Spark с использованием дистрибутива MapR, в котором включено динамическое распределение.Пожалуйста, обратитесь к нижеуказанным параметрам:

spark.dynamicAllocation.enabled         true
spark.shuffle.service.enabled           true
spark.dynamicAllocation.minExecutors    0
spark.dynamicAllocation.maxExecutors    20
spark.executor.instances                2

Согласно моему пониманию, spark.executor.instances - это то, что мы определяем как --num-executors при отправке нашей работы pySpark.

У меня есть следующие 2 вопроса:

1. , если я использую --num-executors 5 во время подачи работы, будет ли он перезаписывать spark.executor.instances 2 параметр конфигурации?

2. Какова цель определения spark.executor.instances, когда динамическое распределение минимального и максимального исполнителей уже определено?

Answer 1

spark.executor.instances в основном это свойство для статического размещения.Однако, если динамическое выделение включено, начальный набор исполнителей будет по крайней мере равен spark.executor.instances.

. Он не будет перезаписан в настройке конфигурации, если вы установите --num-executors.

Дополнительно читать: официальный документ

Answer 2

Есть еще один параметр, который

spark.dynamicAllocation.initialExecutors

принимает значение spark.dynamicAllocation.minExecutors.Если определено spark.executor.instances и оно больше, чем minExecutors, тогда оно примет значение первоначальных исполнителей.