Я отправляю свою работу spark на yark с использованием сценариев Unix и команд spark-submit.Я проверяю статус спарк-задания в if else блоке unix и выкидываю ошибку, однако я заметил, что если спарк-задание не выполнено или не завершено на пряже, он все равно показывает как успешный, а скрипт unix не может получить правильный статус задания ивыйдите из скрипта.
Я проверил другие ответы на переполнение стека, но не смог получить желаемый.
Может кто-нибудь помочь, если он успешно реализован.