Лучшие практики организации воздушного потока - PullRequest
Новая
       37

Лучшие практики организации воздушного потока

0 голосов
/ 19 ноября 2018

Я начал использовать Airflow для планирования рабочих мест в нашей компании, и мне интересно узнать о его лучших методах.

Рекомендуется ли поместить все мои задачи в один DAG? Если нет, то какова правильная середина между одним и несколькими Дагами?

Наша запланированная группа DAG выполняет сбор, преобразование, экспорт и некоторые другие вычислительные программы. Таким образом, мы будем постоянно добавлять новые задачи.

1 Ответ

0 голосов
/ 19 ноября 2018

Как правило, один файл Python состоит из одного DAG с несколькими задачами. Это потому, что это логическая группировка задач.

Если у вас есть несколько DAG с зависимостями, вы можете использовать TriggerDagRunOperator в конце DAG1. Это вызовет DAG2 (отдельный файл DAG), если все задачи в DAG1 будут выполнены успешно.

Примером этого является:

DAG1 : https://github.com/apache/incubator-airflow/blob/master/airflow/example_dags/example_trigger_controller_dag.py

DAG2 : https://github.com/apache/incubator-airflow/blob/master/airflow/example_dags/example_trigger_target_dag.py

...