Задания повторяют попытки больше, чем указано, в Airflow. - PullRequest
3 голосов
/ 12 марта 2019

Я недавно обновил поток воздуха до 1.10.2. Некоторые задачи в пакете работают нормально, а некоторые повторяют попытки больше, чем указанное количество повторов. Один из журналов задач показывает: «Начало попытки 26 из 2. Почему планировщик планирует это даже после двух неудач? Кто-нибудь сталкивался с подобной проблемой?

Пример Dag -

args = {
    'owner': airflow,
    'depends_on_past': False,
    'start_date': datetime(2019, 03, 10, 0, 0, 0),
    'retries':1,
    'retry_delay': timedelta(minutes=2),
    'email': ['my@myorg.com'],
    'email_on_failure': True,
    'email_on_retry': True
}

dag = DAG(dag_id='dag1',
    default_args=args,
    schedule_interval='0 12 * * *',
    max_active_runs=1)

data_processor1 = BashOperator(
    task_id='data_processor1',
    bash_command="sh processor1.sh {{ ds }} ",
    dag=dag)

data_processor2 = BashOperator(
    task_id='data_processor2',
    bash_command="ssh processor2.sh {{ ds }} ",
    dag=dag)

data_processor1.set_downstream(data_processor2)
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...