Операторы воздушного потока on_kill и тайм-аут сельдерея - PullRequest
0 голосов
/ 30 апреля 2019

Мы бы хотели установить время ожидания сельдерея на 2 часа с опцией visibility_timeout.наш dag отправляет задания внешним API для запуска в их системе.Мы также написали наш собственный пользовательский оператор с методом on_kill.Таким образом, когда работа завершается, метод on_kill отправляет запрос на отмену во внешний API для уничтожения работы в их системе.Мы проверили это путем ручной очистки прогонов из пользовательского интерфейса Airflow.

Мой вопрос: если мое задание длится более 2 часов, может истечь время ожидания сельдерея и произойдет сбой задания воздушного потока.Это полностью верно.Вызывает ли это метод on_kill для оператора?Прямо сейчас, чтение, которое я предложил on_kill, будет вызвано на SIGTERM, отправляет ли сигнал тайм-аута сельдерея этот сигнал?

Спасибо за помощь

Спасибо, Сантош

...