CDH 5.14 Кластер имеет
spark.executor.memory=10G
spark.executor.cores=2
spark.executor.instances=10
mode: yarn-cluster
Я запускаю 6 рабочих процессов с 2-узловым, 2-ядерным и 2 ГБ каждый. Первые 5 рабочих процессов будут назначены исполнителям по Yarn, а 6-й рабочий процесс будет находиться в очереди.
Мой вопрос: если одно из заданий будет завершено в существующих 5 заданиях, исполнитель будет освобожден до завершения всего рабочий процесс, и этот исполнитель поднят 6-м рабочим процессом.