Я пытаюсь запустить spark-submit в режиме кластера / пряжи и ожидаю, что пряжа будет правильно отображать статус неудачного / успешного выполнения, но
Случай 1: YARN показывает правильное состояние, если произошел сбой после создания сеанса искры Случай 2 : YARN не показывает правильное состояние (EMR YARN показывает UNDEFINED), если сбой происходит до создания сеанса искры.
Так есть ли способ правильно отобразить состояние пряжи в случае 2?
Версия Spark - 2.4.2 Python версия - 3.6
Спасибо