Как остановить запуск Airflow DAG из задачи - PullRequest
1 голос
/ 30 мая 2019

, поэтому у меня есть задача DAG с воздушным потоком, которая выполняет несколько проверок файла (например, если он уже был обработан в прошлом), и я хочу, чтобы весь прогон DAG полностью остановился, если одна из проверок завершится неудачно.Как я могу это сделать?

В основном проверки выполняются в скрипте Python.

Thx:

1 Ответ

1 голос
/ 30 мая 2019

Если у вас нет последующих задач, которые игнорируют сбой предыдущей задачи, то возникновение исключения из этой задачи приведет к прекращению обработки группой обеспечения доступности баз данных и будет помечено как сбойное.

Так что в вашем случае вы можете вызвать исключение, когда обнаружите, что файл уже обработан.

...