Задания, очищенные потоком воздуха, не выбираются планировщиком - PullRequest
0 голосов
/ 17 апреля 2019

Когда задача в успешном запуске обратной засыпки очищается, DagRun с состоянием выполнения создается, но не выбирается планировщиком.Является ли это ожидаемым поведением?

Если таких DagRuns много и команда backfill выполняется, все DagRuns будут запускаться одновременно, не следуя параметру max_active_runs.

Единственный обходной путь, который я нашел до сих пор, - это очистить задачи, затем пометить dagruns (не экземпляры задач) как успешные через пользовательский интерфейс, а затем запустить обратную засыпку.

1 Ответ

0 голосов
/ 17 апреля 2019

Планировщик не будет забирать созданные вручную DagRuns (включая airflow backfill), только запланированные.Вы должны сделать airflow clear и снова запустить airflow backfill для периода.

Что касается обратной засыпки, не учитывающей max_active_runs, я думаю, это было исправлено с https://github.com/apache/airflow/pull/2454. Какую версию Airflow вы используете?

...