Я использую засыпку Airflow в течение нескольких месяцев.В моей конфигурации MAX_ACTIVE_RUNS_PER_DAG=16.Таким образом, поток воздуха создает дагрунов в пакетах, что означает, что, несмотря на то, что у него есть около 1000 дагрунов для создания, он создает 16, и только после их завершения он создает следующие 16 дагрунов.
Моя проблема заключается в том, что если в некотором пакете задача завершается неудачно, не удается создать следующую партию.
У кого-нибудь была эта проблема?
Я пытался добавить --donot-pickle в команду.depends_on_past установлено на Ложь.