У меня DAG, где max_active_runs установлено на 2, но теперь я хочу запускать засыпки для 20-ти прогонов.Я действительно ожидал, что воздушный поток определит график всех засыпок, но будет запускаться только по 2 за раз, но, похоже, этого не происходит.Когда я запускаю команду backfill, она запускается два раза, но команда не возвращается, поскольку ей не удалось запустить их все, вместо этого она продолжает пытаться, пока не преуспеет.
Итак, я ожидал, что это так:
- Я выполнил команду обратной засыпки
- Все прогоны помечены как запущенные
- С тех пор команда возвращаетсявсе должно быть запланировано
- Начало двух прогонов
Что я испытал:
- Я выполнил команду обратной засыпки
- Два прогонапомечены как работающие и запускаются
- Команда не возвращается, так как не может запустить остальные
Опытное поведение затрудняет просто запустить засыпку и выключить компьютер,Так что я делаю что-то не так?
Обновление Использование trigger_dag вместо обратной засыпки сделало то, что я хотел.При запуске с обратной засыпкой кажется, что команда должна быть запущена для продолжения, кажется странным.Разница с trigger_dag заключается в том, что он вызывает даг, а затем позволяет воздушному потоку справляться с ним.Может быть, это как-то связано с тем, как команда backfill выполняется при использовании gcloud composer environments run <env> --location=<location> backfill -- ...?