Есть ли способ повторить процесс dag через 2,4,16, ... минуты вместо повторения каждые 2 минуты?
Я думал настроить DAG таким образом, чтобы Повторите попытку нелинейным способом.
следующий шаг повторяется через 2 минуты, если операция не удалась.
default_args = {
'owner': 'airflow',
'start_date': datetime(2020, 1, 1),
'retries': 10,
'retry_delay': timedelta(minutes=2)
}
Я хочу, чтобы задержка повторения была динамической c
default_args = {
'owner': 'airflow',
'start_date': datetime(2020, 1, 1),
'retries': 10,
'retry_delay': non_linear_retry_delay()
}
Я не знаю, как я могу получить контекст процесса (я не уверен, есть ли у контекста данные повторов) на этом этапе или передать номер повторения этой функции.
Я ценю вашу помощь