Изменение DAG end_date для Airflow

Question

У меня есть набор групп доступности баз данных, которые запускаются с 2011-01-01 до 2018-04-01 по расписанию @monthly.Я сделал это, установив start_date и end_date на каждом из дагов.Однако теперь я понял, что мне нужно, чтобы он работал еще месяц.Я обновил end_date до 2018-05-01, однако обновление этого значения не вызвало Airflow, запустите другой DagRun.

Я прочитал Airflow: изменение времени crontab для DAG в Airflow, но я не хочу менять идентификатор Dag, потому что из-за этого мне придется перезапускать все месяцы, и я просто хочу добавить еще один месяц.Возможно ли это в Airflow?

Answer 1

Вы можете вручную активировать метку после того, как изменили end_date, используя CLI:

airflow trigger_dag [-h] [-sd SUBDIR] [-r RUN_ID] [-c CONF] [-e EXEC_DATE] dag_id

Дополнительная информация: https://airflow.apache.org/cli.html#trigger_dag

Answer 2

Это возможно.@monthly - это просто более хороший способ сказать «0 0 1 * *» [1], если у вас настроено end-date,

end_date: если указано, планировщик не пойдетпосле этой даты [2]

Вы можете попробовать использовать 2018-05-02 вместо.

[1] https://airflow.apache.org/scheduler.html#dag-runs [2] https://github.com/apache/incubator-airflow/blob/master/airflow/models.py#L2164