Повторить экземпляр задачи Airflow только для определенного исключения - PullRequest
1 голос
/ 26 июня 2019

Как лучше всего повторить попытку оператора Airflow только для определенных сбоев / исключений?

Например, предположим, что у меня есть задача Airflow, которая зависит от доступности внешней службы.Если эта служба станет недоступной во время выполнения задачи, я бы хотел повторить попытку позже (максимум 3 попытки).Для других сбоев я не хочу повторять попытку.

Мой текущий подход состоит в том, чтобы использовать on_failure_callback и манипулировать context["ti"].task.retries на желаемом исключении, анализируя context["exception"], но я считаю это беспорядочным и трудным дляПонимаю.Есть ли лучшие варианты?

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...