Spark: как убить процесс spark-submit

Question

Как убить работающий процесс spark-submit?Я пытаюсь написать скрипт для этого, но не знаю, как получить идентификатор приложения Yarn.

Answer 1

Правильный подход к уничтожению приложения, отправленного искрой, - уничтожить приложение, находящееся в пряже.Итак, запустите:

1. yarn application -list => Чтобы увидеть все приложения, работающие в пряже.
2. Найдите идентификатор приложения из вывода, полученного на шаге 1.
3. Убить приложение пряжи с помощью yarn application -kill <appID>

Кроме того, если вы хотите просмотреть журналы пряжи, вы можете использовать: yarn logs -applicationId <appID>

Answer 2

$ пс |grep java

это покажет некоторый процесс с пометкой, что значение PID позволяет сказать, что это значение 848484

$ kill -9 848484

это убьет процесс

или в вашем процессе в конце действия вы можете добавить awaittermination, если вы не хотите запускать процесс в фоновом режиме

awaitTermination - внутри него используется некоторая условная переменная, которая проверяет, был ли явно вызван stop () вкод или приложение прекращено (Ctrl + C).