Killing Oozie Координатор не убивает последующую искровую работу - PullRequest
Новая
       54

Killing Oozie Координатор не убивает последующую искровую работу

0 голосов
/ 03 сентября 2018

Когда я пытался убить искровую работу, которая вызывается из уродливой работы, ее не убивают. Это просто показывает, что задание рабочего процесса убито. Затем я проверил журнал рабочего процесса из этой команды

oozie job --ozie oozieurl -log workflowID

показывает эту ошибку в логах. 

org.apache.oozie.command.CommandException: E0800: Action it is not running its in [KILLED] state, action [0006849-180819131048313-oozie-oozi-W@MysparkApplication]
        at org.apache.oozie.command.wf.CompletedActionXCommand.eagerVerifyPrecondition(CompletedActionXCommand.java:92)
        at org.apache.oozie.command.XCommand.call(XCommand.java:258)
        at java.util.concurrent.FutureTask.run(FutureTask.java:266)
        at org.apache.oozie.service.CallableQueueService$CallableWrapper.run(CallableQueueService.java:178)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
        at java.lang.Thread.run(Thread.java:748)

Я делаю что-то не так или это ограничение, что мы не можем уничтожить искровое приложение, которое запускается из пряжи от координатора oozie.

1 Ответ

0 голосов
/ 03 сентября 2018

Координатор Oozie запускает рабочий процесс Oozie с определенным расписанием. Когда координатор вызывает рабочий процесс oozie, он отправляет искровое задание в кластер.

Здесь координатор и рабочий процесс oozie только отслеживают задание, т. Е. Выполняется ли задание или уничтожено и т. Д.

Теперь, если вы убьете рабочий процесс oozie или координатор, это гарантирует, что следующий шаг в рабочем процессе не будет вызван. Однако это не касается существующей искровой работы. Это по замыслу.

Если вы хотите уничтожить задание spark, вам нужно вручную завершить задание spark в кластере с помощью следующей команды 

yarn application -kill <applicationId>
...