Задачи перемещаются в удаленное состояние в Airflow, когда они находятся в очереди и не восстанавливаются

Question

Когда экземпляры задачи отмечены состоянием State.REMOVED в Airflow?Когда я динамически генерирую задачи, используя цикл for, после выполнения одной из задач другие задачи удаляются и не восстанавливаются снова.

Answer 1

Состояние REMOVED применяется методом airflow.models.DagRun:verify_integrity, когда в базе данных обнаруживается task_id, которого больше нет в связанном объекте DAG.Это, безусловно, может произойти, если вы динамически создаете задачи с различными значениями task_id.