Задержка воздушного потока между экземплярами захвата

Question

У меня есть нижеприведенные настройки dag для запуска catchup с 2015 года. Для каждой даты выполнения экземпляр задачи завершается менее чем за минуту.Однако задача следующего дня начинается только через 5 минут.Например, 10:00, 10:05, 10:10 и т. Д. Я не вижу 5-минутный интервал, указанный для экземпляров задачи.Как я могу изменить метку для запуска, как только предыдущий экземпляр заканчивается?Я использую Airflow версии 1.9.0

default_args = {
   'owner': 'ssnehalatha',
   'email': ['ssnehalatha@metromile.com'],
   'depends_on_past': False,
   'start_date': datetime(2015, 1, 1),
   'on_failure_callback': jira_failure_ticket,
   'trigger_rule': 'all_done',
   'retries': 1,
   'pool': 'python_sql_pool'
}

dag = DAG('daily_dag',
           schedule_interval='15 1 * * 0,1,2,3,4,5',
           default_args=default_args,
           dagrun_timeout=timedelta(hours=24),
           catchup=True)

Answer 1

Если я не ошибаюсь, это связано с настройками планировщика в airflow.cfg.

[scheduler]

# The scheduler constantly tries to trigger new tasks (look at the
# scheduler section in the docs for more information). This defines
# how often the scheduler should run (in seconds).
scheduler_heartbeat_sec = 60

РЕДАКТИРОВАТЬ

Документы для двух параметров, которые выупомянуто (от https://github.com/apache/incubator-airflow/blob/master/UPDATING.md):

min_file_process_interval Через сколько времени должен быть получен обновленный DAG из файловой системы.

dag_dir_list_interval Частота, с которой планировщик должен повторно проверять содержимое каталога DAG. Если при разработке + dags они не обнаруживаются, посмотрите на это число и уменьшите его при необходимости.

Кажетсядля меня они больше для обнаружения измененных и новых файлов DAG , а не для выполнения задач .