Сбой задачи воздушного потока / повторный рабочий процесс

Question

У меня есть логика повторения для задач, и неясно, как Airflow обрабатывает сбои задач, когда повторные попытки включены.

Их документация просто заявляет, что on_failure_callback запускается при сбое задачи, но если эта задача не выполняется и также помечена для повторной попытки, означает ли это, что будут вызваны как on_failure_callback, так и on_retry_callback?

Answer 1

Логика / параметры повторных попыток будут иметь место до логики / параметров неисправности.Таким образом, если у вас есть задание на повторную попытку дважды, оно попытается выполнить снова два раза (и, таким образом, выполнить on_retry_callback), прежде чем завершится с ошибкой (а затем выполнить on_failure_callback).

Простой способ подтвердитьпоследовательность, в которой он выполняется, состоит в том, чтобы установить для email_on_retry и email_on_failure значение True и посмотреть порядок их появления.Вы можете физически подтвердить, что он будет повторяться до сбоя.

default_args = {
    'owner': 'me',
    'start_date': datetime(2019, 2, 8),
    'email': ['you@work.com'],
    'email_on_failure': True,
    'email_on_retry': True,
    'retries': 1,
    'retry_delay': timedelta(minutes=1)
}