Поиск воздушного потока DAG запускается с указанием c conf - PullRequest
Новая
       16

Поиск воздушного потока DAG запускается с указанием c conf

0 голосов
/ 18 июня 2020

Я использую apache -airflow 1.10.10 .

Мой вариант использования: у меня есть 4 группы DAG, все они запускают общий DAG с именем "dag_common" с различные параметры conf с использованием BashOperator после некоторой работы.

airflow trigger_dag -c {"id":"1"} dag_common

airflow trigger_dag -c {"id":"2"} dag_common

airflow trigger_dag -c {"id":"3"} dag_common

airflow trigger_dag -c {"id":"4"} dag_common

Внутри этих DAG я должен дождаться, пока запущенный DAG завершит sh, как я могу выполнить sh это?

Dag1 должен ждать, пока не завершится sh dag_common с conf id=1. Есть ли способ найти все прогоны dag с указанием c conf?

1 Ответ

0 голосов
/ 19 июня 2020

Это похоже на вариант использования SubDAG : реализовать dag_common как subDAG и использовать SubDagOperator() в этих четырех DAG для запуска dag_common.

...