Воздушный поток не работает в запланированный интервал - PullRequest
0 голосов
/ 11 июня 2019

Мой веб-сервер Airflow запущен и работает, так как другие задания выполняются в соответствии с расписанием.Я добавил новый DAG, который будет выполняться каждые 5 минут.После добавления я запустил его первый раз вручную, и он завершился.Однако после этого он не запускается снова каждые 5 минут.

Код Dag ниже

from airflow import DAG
from airflow.operators.bash_operator import BashOperator
from datetime import datetime, timedelta

current_date = datetime.now()
default_args = {
    "owner": "airflow",
    "depends_on_past": False,
    "start_date": datetime(2019, 6, 11, current_date.hour, current_date.minute),
    "email": ["airflow@airflow.com"],
    "email_on_failure": False,
    "email_on_retry": False,
    "retries": 1,
    "retry_delay": timedelta(minutes=1),
}

dag = DAG("Incremental", default_args=default_args, schedule_interval='*/5 * * * *')

Предложение, пожалуйста

1 Ответ

0 голосов
/ 12 июня 2019

Обратите внимание, что если вы запустите группу обеспечения доступности баз данных с параметром schedule_interval, равным одному дню, запуск с отметкой 2016-01-01 будет запущен вскоре после 2016-01-01T23: 59.Другими словами, экземпляр задания запускается после окончания периода, который он охватывает.На основе Документация по воздушному потоку

В вашем случае, если у вас есть начальная дата 2019-01-01 00:00:00, интервал 5 минут.Вы можете ожидать, что поток воздуха будет работать в 2019-01-01 00:05:00, но он будет работать после 2019-01-01 00:10:00, потому что он ожидает 5-минутного интервала до конца (вот как я это представляю).Надеюсь это поможет.:)

...