У меня есть отдельный искровой кластер, где я запускаю несколько искровых заданий. Я назначил 1 ядро для каждого драйвера.
Вот некоторые другие настройки, которые я использую при запуске задания
spark.cores.max: 15
spark.driver.cores: 1
spark.driver.memory: 2g
spark.driver.supervise: "true"
spark.eventLog.dir: file:///var/spark-ebs/spark-events
spark.eventLog.enabled: "true"
spark.executor.memory: 2g
spark.jars: /path/to/jar
spark.master: spark://10.68.50.180:7077
spark.submit.deployMode: cluster
Теперь, когда количество отправленных заданий превышает число доступных ядер, каждое задание в итоге занимает 1 ядро драйвера, и исполнителю не доступно доступных ядер для запуска приложения.
Есть ли какая-либо конфигурация, которую я мог бы использовать, чтобы задание ставилось в очередь только при наличии доступных ядер исполнителя
Я пытался добавить эти настройки, но они тоже не работали
spark.scheduler.maxRegisteredResourcesWaitingTime: 3600s
spark.scheduler.minRegisteredResourcesRatio: 0.5
Что-нибудь еще, что я могу сделать?