В настоящее время сравниваются инструменты рабочих процессов на основе DAG, такие как Airflow и Luigi, для планирования общих док-контейнеров, а также заданий Spark.
Может ли Apache Oozie запускать универсальные контейнеры Docker с помощью своего действия shell?Или Oozie строго предназначен для таких инструментов Hadoop, как Pig и Hive?
Oozie интегрирован с остальной частью стека Hadoop, поддерживающего сразу несколько типов заданий Hadoop (например, Java map-Reduce, Streaming map-Reduce, Pig, Hive, Sqoop и Distcp)а также системные задания (такие как Java-программы и сценарии оболочки).