Проверьте, завершена ли работа через unix

Question

Я должен запустить несколько заданий по очереди последовательно, поэтому я пишу сценарий оболочки.Один из способов, который я могу сделать, - это проверить файл успеха в выходной папке на предмет статуса работы, но я хочу знать, есть ли другой способ проверить состояние работы spark-submit, используя скрипт Unix, где я выполняю свои работы.

Answer 1

Вы можете использовать команду

yarn application -status <APPLICATIOM ID>

, где <APPLICATIOM ID> - это идентификатор вашего приложения и проверить строку как:

State : RUNNING

Это даст вам статус вашего приложения

Чтобы проверить список приложений, запустите через пряжу, вы можете использовать команду

yarn application --list

Вы также можете добавить -appTypes, чтобы ограничить список в зависимости от типа приложения