Я пытаюсь понять, как повлияет добавление: spark.yarn.submit.waitAppCompletion=false конфигурации при отправке шага зажигания. Насколько я знаю, если установлено значение true, клиентский процесс будет оставаться в живых, сообщая о состоянии приложения. В противном случае клиентский процесс завершит работу после отправки.
Что произойдет, если кластер имеет KeepJobFlowAliveWhenNoSteps = False, а отправленный шаг имеет свойство spark.yarn.submit.waitAppCompletion=false? Будет ли этот шаг убит, когда его задание еще не выполнено, а остальные шаги завершат выполнение?