В Airflow, как я могу создать рабочий процесс с несколькими группами доступности базы данных, которые могут быть вызваны при выполнении этого рабочего процесса?

Question

У меня есть несколько групп DAG, созданных в Airflow. Но я хочу запустить их все через некоторый общий модуль или группу DAG. Можем ли мы создать рабочий процесс, такой как Azkaban, чтобы все DAG вызывались в этом потоке.

Answer 1

Вы можете использовать SubdagOperator .

• Основной DAG видит и управляет всеми SubDAG как обычными задачами
• GUI администратора Airflow перечисляет только основную группу DAG в основном списке DAG, тогда можно будет увеличить масштаб для SubDAG в разделе графического представления GUI.
• Мы можем управлять всеми дагами, используя основной даг или каждый подэгэг отдельно, выполнив опцию увеличения

вот пример для оператора: https://github.com/apache/airflow/blob/master/airflow/example_dags/example_subdag_operator.py

Я рекомендовал использовать общий коэффициент Дага для создания всех подпагов, если все находятся в том же порядке и в рабочем процессе.

Answer 2

• Вы можете создать DAG, который будет запускать другие DAG с помощью TriggerDagRunOperator, передавая их dag_id и другие соответствующие аргументы
• Источник оператораможно найти в dagrun_operator.py

---

Также я предлагаю вам пройти через раздел Планирование и триггеры в документах