Airflow execute_timeout сбрасывает каждую попытку - PullRequest
0 голосов
/ 18 декабря 2018

Я хочу, чтобы задача не выполнялась после 12 часов ее запуска, я установил execution_timeout на 12 часов:

Оператор - SQLSensor, так как иногда он теряет соединение и не работает, я установил retries на3.

Однако из-за повторных попыток задание запускается заново после каждого тайм-аута.

1: задание запущено в 10: 00

2: тайм-аут в 22: 00

3: затем задание снова началось в 22: 01

Iне хотите этого, как я могу установить общее время ожидания для всех попыток?

log_sensor = SqlSensor(
    task_id='log_sensor',
    conn_id='mssql_etl',
    sql=my_query,
    retries=3,
    execution_timeout=timedelta(hours=12),
    dag=dag)
...