Планировщик воздушного потока не подбирает работу

Question

Я создал новый Dag со следующими аргументами:

default_args = {
    'owner': 'airflow',
    'depends_on_past': False,
    'start_date': datetime.now(),
    'email': ['airflow@example.com'],
    'email_on_failure': False,
    'email_on_retry': False,
    'retries': 1,
    'retry_delay': timedelta(minutes=5),
    'catchup': False,
    # 'queue': 'bash_queue',
    # 'pool': 'backfill',
    # 'priority_weight': 10,
    # 'end_date': datetime(2016, 1, 1),
    # 'wait_for_downstream': False,
    # 'dag': dag,
    # 'adhoc':False,
    # 'sla': timedelta(hours=2),
    # 'execution_timeout': timedelta(seconds=300),
    # 'on_failure_callback': some_function,
    # 'on_success_callback': some_other_function,
    # 'on_retry_callback': another_function,
    # 'trigger_rule': u'all_success'
}

dag = DAG(
    'sample_dag',
    default_args=default_args,
    description='sample dag',
    schedule_interval="44 * * * *")

Но планировщик не собирает Dag, когда придет время.И он работает нормально, когда я запускаю его вручную.Я что-то здесь упускаю?

Кроме того, планировщик выдавал ошибку, когда выражение cron было "*/5 * * * *"

CroniterBadCronError: Exactly 5 or 6 columns has to be specified for iteratorexpression.

Но выражение cron мне выглядит хорошо.

Answer 1

Причина этого в том, что [time the dag runs] = start_date + schedule_interval.Так что если вы установите start_date на что-то динамическое, тогда dag никогда не будет выполняться, поскольку start_date продолжает увеличиваться с ... ну ... временем.

Это объяснено здесь и есть еще один вопрос здесь в стеке, на который тоже есть ответ, они, вероятно, объясняют это лучше, чем я.

Вы должны изменить start_date на что-то статическое, а неdatetime.now()

Если вы не хотите, чтобы засыпка была в вашем dag, вам нужно установить catchup=False в качестве параметра dag.так что-то вроде следующего:

default_args = {
    'owner': 'airflow',
    'depends_on_past': False,
    'start_date': datetime(2018, 1, 1),
    'email': ['airflow@example.com'],
    'email_on_failure': False,
    'email_on_retry': False,
    'retries': 1,
    'retry_delay': timedelta(minutes=5)
}

dag = DAG(
    'sample_dag',
    catchup=False,
    default_args=default_args,
    description='sample dag',
    schedule_interval="44 * * * *"
    )