Я недавно обновил поток воздуха до 1.10.2. Некоторые задачи в пакете работают нормально, а некоторые повторяют попытки больше, чем указанное количество повторов.
Один из журналов задач показывает: «Начало попытки 26 из 2. Почему планировщик планирует это даже после двух неудач?
Кто-нибудь сталкивался с подобной проблемой?
Пример Dag -
args = {
'owner': airflow,
'depends_on_past': False,
'start_date': datetime(2019, 03, 10, 0, 0, 0),
'retries':1,
'retry_delay': timedelta(minutes=2),
'email': ['my@myorg.com'],
'email_on_failure': True,
'email_on_retry': True
}
dag = DAG(dag_id='dag1',
default_args=args,
schedule_interval='0 12 * * *',
max_active_runs=1)
data_processor1 = BashOperator(
task_id='data_processor1',
bash_command="sh processor1.sh {{ ds }} ",
dag=dag)
data_processor2 = BashOperator(
task_id='data_processor2',
bash_command="ssh processor2.sh {{ ds }} ",
dag=dag)
data_processor1.set_downstream(data_processor2)