Динамическое распределение искры

Question

У меня есть задание spark, которое выполняется в кластере с включенным динамическим распределением ресурсов. Я отправляю задание spark с num executors и свойствами памяти executor .. Что здесь будет иметь приоритет?Будет ли задание выполняться с динамическим распределением или с ресурсами, которые я упомянул в конфиге?

Answer 1

Это зависит от того, какой параметр конфигурации имеет большее значение ...

spark.dynamicAllocation.initialExecutors или spark.executor.instances или --num-executors (при запуске через терминал во время выполнения)

Вотобратитесь к документу, если вы используете Cloudera в YARN, и убедитесь, что вы ищете правильную версию CDH в соответствии с вашей средой.

https://www.cloudera.com/documentation/enterprise/6/6.2/topics/cdh_ig_running_spark_on_yarn.html#spark_on_yarn_dynamic_allocation__table_tkb_nyv_yr

Документация Apache YARN также:

https://spark.apache.org/docs/latest/configuration.html#dynamic-allocation

Таким образом, чтобы подвести итог, если вы используете --num-executors, это, скорее всего, переопределение (отмена и не использование) динамического выделения, если вы не установите spark.dynamicAllocation.initialExecutors на более высокое значение.