Я запускаю искровое приложение в aws EMR-кластер с динамическим c распределение ресурсов включено
Ниже приведены свойства.
'--conf', 'spark.dynamicAllocation.enabled=true',
'--conf', 'spark.dynamicAllocation.executorIdleTimeout=300',
'--conf', 'spark.shuffle.service.enabled=true',
Я не установил никаких значений для ниже, поэтому он должен использовать значения по умолчанию
spark.dynamicAllocation.initialExecutors,
spark.dynamicAllocation.minExecutors
spark.dynamicAllocation.maxExecutors
После того, как я отправил свое искровое задание, я вижу строку в журнале и запрашивает 67 исполнителей.
INFO Utils: Using число начальных исполнителей = 67, макс. spark.dynamicAllocation.initialExecutors, spark.dynamicAllocation.minExecutors и spark.executor.instances
Я не понимаю, как рассчитывается это значение 67, и даже без каких-либо заданий, ожидающих выполнения, почему эти многие исполнители запрашиваются. После того, как иногда, так как задано executetirIdletimeoot, все исполнители отключены, но почему он запрашивал так много, когда это не нужно