Настройка нелинейной задержки retry_delay для ariflow dag - PullRequest
0 голосов
/ 14 января 2020

Есть ли способ повторить процесс dag через 2,4,16, ... минуты вместо повторения каждые 2 минуты?

Я думал настроить DAG таким образом, чтобы Повторите попытку нелинейным способом.

следующий шаг повторяется через 2 минуты, если операция не удалась.

default_args = {
    'owner': 'airflow',
    'start_date': datetime(2020, 1, 1),
    'retries': 10,
    'retry_delay':  timedelta(minutes=2)
}

Я хочу, чтобы задержка повторения была динамической c

default_args = {
    'owner': 'airflow',
    'start_date': datetime(2020, 1, 1),
    'retries': 10,
    'retry_delay':  non_linear_retry_delay()
}

Я не знаю, как я могу получить контекст процесса (я не уверен, есть ли у контекста данные повторов) на этом этапе или передать номер повторения этой функции.

Я ценю вашу помощь

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...