Воздушный поток не выполняет DAG в полночь

Question

Я сделал группу обеспечения доступности баз данных со следующей конфигурацией:

default_args = {
    'owner': 'airflow',
    'depends_on_past': False,
    'start_date': airflow.utils.dates.days_ago(0, 0, minute=1),
    'email': ['francisco.salazar.12@sansano.usm.cl'],
    'email_on_failure': False,
    'email_on_retry': False,
    'max_active_runs': 1, 
    'retries': 1,
    'retry_delay': timedelta(minutes=1),
    'provide_context': True 
}

dag = DAG(
    'terralink_environmetal_darksky',
    default_args=default_args,
    description='Extract Data from Darksky API',
    catchup=False,
    schedule_interval='31 * * * *',
)

Проблема заключается в том, что scheduler работает правильно и выполняет запуск группы доступности базы данных каждый час, который я определил в schedule_inverval (в минуте 31 каждого час) НО в полночь или последнее выполнение дня (запланировано на 00:31:00 следующего дня) выполнение DAG не инициируется.

Я думаю, что это проблема, основанная на start_date, но я пока не знаю, как определить этот параметр, чтобы избежать проблемы.

Answer 1

Airflow рекомендует указать фиксированный старт start_date для вашей группы доступности базы данных. Функция start_date предназначена главным образом для указания того, когда вы хотите, чтобы ваша группа обеспечения доступности баз данных запускалась в первый раз. schedule_interval будет наиболее релевантным после того, как start_date выполнила свою задачу или (если вам не нужно выполнять обратную засыпку или сбросить dag).