Oozie Spark2 Java Action: Как завершить работу

Question

Я перевожу существующие конвейеры с версии 1.6.0 на версию 2.1.0 (cdh 5.15.1). Версия oozie, которую я использую (4.1.0), не поддерживает действие spark2, поэтому мы запускаем задания spark2 с использованием действия java.

Задания успешно выполняются с помощью действия Java, но одна проблема, с которой я сталкиваюсь, заключается в том, что всякий раз, когда рабочий процесс oozie завершается, приложение spark не уничтожается, особенно при работе в режиме кластера.

Я могу понять, что действие java запускает драйвер spark в отдельном контейнере, который является отдельным процессом jvm. Просто хочу понять, есть ли способ справиться с этим сценарием.

Answer 1

Я почти уверен, что это то, что происходит со всеми действиями Oozie, которые выполняются как задания MapReduce. У меня возникла та же проблема с действиями Hive2.

Из "Apache Oozie" О'Рейли

Если какой-либо путь выполнения рабочего процесса достигает узла уничтожения, Oozie немедленно прервет рабочий процесс, провалив все выполняющиеся действия ... и установив состояние завершения рабочего процесса в KILLED. Стоит отметить, что Oozie не будет явно уничтожать текущие задания MapReduce в кластере Hadoop, соответствующие этим действиям.

А про действие Java

Это действие выполняется как одно задание сопоставления ....