Тайм-аут задачи для DAG Airflow - PullRequest
0 голосов
/ 18 июня 2019

Я выполняю 5 задач PythonOperator в моей DAG-системе airflow, и одна из них выполняет работу ETL, которая занимает много времени, из-за чего все мои ресурсы заблокированы. Есть ли способ, которым я могу установить максимальное время выполнения для задачи, после чего задача либо не выполняется, либо помечается как успешная (чтобы группа DAG не дает сбоя) с помощью сообщения?

1 Ответ

0 голосов
/ 18 июня 2019

Проверьте этот предыдущий ответ.

Короче говоря, использование встроенных в пулов воздушного потока или даже указание start_date для задачи (вместо целой группы доступности базы данных) кажутся потенциальными решениями.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...