airflow - приостановить длительное задание - PullRequest
0 голосов
/ 23 октября 2019

Мы сталкиваемся с проблемой, что у нас есть всего несколько часов в день для запуска наших ежедневных групп доступности баз данных из-за некоторых ограничений API, например, с 01-05 часов утра, и задачи должны прекратиться в 5 часов утра и продолжить на следующий день с оставшимися задачами. .

Иногда работа занимает всего 1 час, поэтому наши задачи могут быть выполнены вовремя без проблем, но иногда из-за огромного количества данных и обработки нам требуется больше времени и мы продолжаем на следующий день.

Есть ли способ приостановить выполнение задач, кроме как поставить TimeSensor или какое-то ветвление перед каждым?

спасибо!

...