Почему Airflow перепланирует задачи, которых не было на момент очистки других задач

Question

При очистке задачи группы обеспечения доступности баз данных на январь и февраль 2019 года я заметил, что все задачи этой группы доступности базы данных, которые не существовали в то время, были запущены.

• Мне интересно, почему это происходит. Я полагаю, что планировщик как бы «вынужден» смотреть на прогоны группы обеспечения доступности баз данных в январе и феврале, и поскольку задачи, которые не существовали в то время, никогда не выполнялись для этих дат выполнения, они запускаются. Но я бы хотел добавить конкретные слова к этому смутному пониманию ситуации.

• Могу ли я избежать этого? Это создает неожиданное поведение и заставляет меня сомневаться перед тем, как запустить большое повторение месяца, которое давно прошло:)

Answer 1

Мы также столкнулись с этой проблемой, и я думаю, что это имеет смысл.Согласно документации по воздушному потоку.

Как только вы очистите DAG, он будет очищен, как будто он никогда не запускается.поэтому, насколько я понимаю, он будет проверять все экземпляры dag и задачи заново, запускать все задачи, пока они не достигнут запланированного времени.

• Могу ли я избежать этого? Я не эксперт по воздушным потокам, но думаю, что сейчас мы не можем.Обычно мы дублируем группу обеспечения доступности баз данных, которую мы хотим повторно запустить, и устанавливаем start_date и end_date , чтобы она не вмешивалась в текущую группу обеспечения доступности баз данных, которая работает нормально.