Как объединить несколько групп доступности базы данных в Airflow - PullRequest
1 голос
/ 23 сентября 2019

Мне действительно нужно знать, как использовать Airflow, чтобы несколько групп DAG вызывали друг друга (например, DAG_1 >> DAG_2), подобно тому, как он использует восходящие / нисходящие операторы для запуска задач в группе DAG.Мне нужно знать, как это настроить, чтобы Airflow запускался DAG_1, а затем DAG_2 после успешного завершения DAG_1.

Желательно, чтобы у меня были DAG_1 и DAG_2в отдельных файлах в папке Airflow dag , затем либо DAG_2 call DAG_1 в качестве предварительного шага в начале выполнения, либо отдельную «основную» группу обеспечения доступности баз данных, которая создает и запускаетDAG, где каждая задача - это другой DAG, а не оператор задачи.

Если кто-нибудь знает, как это сделать, пожалуйста, дайте мне знать, мне действительно нужна помощь.Я также приму создание и подключение двух отдельных групп доступности баз данных в одном файле, если кто-нибудь знает, как это сделать, но предпочтительно связанные группы обеспечения доступности баз данных будут находиться в разных файлах.

Заранее благодарю за помощь.

1 Ответ

2 голосов
/ 24 сентября 2019

вы можете использовать TriggerDagRunOperator , который принимает идентификатор DAG в качестве параметра и запускает его

см. Официальный пример здесь

...