Избегайте истекших дат в Airflow - PullRequest
1 голос
/ 08 января 2020

У меня есть следующий DAG воздушного потока:

from datetime import datetime
from airflow import DAG
from airflow.operators.bash_operator import BashOperator

#Runs every 1 minute
dag = DAG(dag_id='example_dag', start_date=datetime(2020, 1, 1), schedule_interval='*/1 * * * *')

t1 = BashOperator(task_id='bash_task', bash_command='echo Hello!', dag=dag)

Проблема здесь в том, что Airflow планирует и выполняет задачи из прошлых дат, таких как первая минута 2020 года, вторая минута 2020 года, третья минута 2020 года и т. д.

Я хочу, чтобы Airflow планировал и выполнял только те задачи, которые возникают после развертывания dag (т. е. если я разверну сегодня, я хочу, чтобы первая задача была выполнена в следующую минуту), а не выполнялся задачи с истекшим сроком действия.

Есть совет? Спасибо!

1 Ответ

0 голосов
/ 08 января 2020

Я нашел ответ здесь . Прочитайте раздел «Кетчуп и Идемпотент DAG».

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...