Заливка потока воздуха не работает до указанной даты окончания - PullRequest
Новая
       61

Заливка потока воздуха не работает до указанной даты окончания

0 голосов
/ 13 сентября 2018

У меня есть группа обеспечения доступности баз данных, запуск которой запланирован на год с 01-01-2012 по 01-01-2018, но только с 01-01-2012 до 01-01-2017. Почему это не работает до 01-01-2018 и как заставить его работать до 2018 года.

Вот код, который я использовал в DAG: 

default_args = {
    'owner': 'airflow',
    'depends_on_past': False,
    'start_date': datetime(2012,1,1),
    'end_date': datetime(2018,1,1),
    'email': ['sef12@gmail.com'],
    'email_on_failure': True,
    'email_on_retry': False,
    'retries': 1,
    'retry_delay': timedelta(seconds=5)
}

dag = DAG(
        dag_id='SAMPLE_LOAD',schedule_interval= '@yearly',default_args=default_args,catchup=True,max_active_runs=1, concurrency=1)

1 Ответ

0 голосов
/ 13 сентября 2018

Это связано с тем, как Airflow обрабатывает планирование. Из документов :

Обратите внимание, что если вы запустите группу обеспечения доступности баз данных с параметром schedule_interval, равным одному дню, запуск с отметкой 2016-01-01 будет запущен вскоре после 2016-01-01T23: 59. Другими словами, экземпляр задания запускается после окончания периода, который он охватывает.

Давайте повторим, что планировщик запускает вашу работу один schedule_interval ПОСЛЕ даты начала, в КОНЦЕ периода.

Ваш пробег на 2018 год начнется, как только закончится 2018 год, так как это конец интервала.

...