Как узнать, успешно ли выполнено задание spark в сценарии оболочки?

Question

Я отправляю свое искровое задание с помощью сценария оболочки и хочу знать, успешно ли выполнено мое искровое задание.Если задание spark завершено успешно, я хочу выполнить некоторые операции с данными, записанными заданием в HDFS, в противном случае выйдите из сценария оболочки.

Answer 1

Используя Spark REST API, вы можете получить статус Отправленных приложений Spark.

Выдержка из документации Spark:

В API на приложение ссылается его идентификатор приложения,[приложение-идентификатор].При работе в YARN каждое приложение может иметь несколько попыток, но идентификаторы попыток существуют только для приложений в режиме кластера, но не для приложений в режиме клиента.Приложения в режиме кластера YARN могут быть идентифицированы по их идентификатору попытки.В API, указанном ниже, при работе в режиме кластера YARN [app-id] фактически будет [base-app-id] / [попытки-идентификатора], где [base-app-id] - это идентификатор приложения YARN.

Для работающего приложения: http://localhost:4040/api/v1 и для сервера истории: http://:18080/api/v1

? Status = [active | complete | pending | fail] перечислять только этапы в состоянии.

Answer 2

Если вы отправляете его с помощью сценария оболочки, вы можете просто проверить статус вашей команды с помощью $? и затем перейти к следующим шагам.

./spark-submit ......

 if [ $? -eq 0 ];then
 #DosomethingHere
 else
 #DoSomethingHere
 fi