Даг воздушного потока работает большую часть времени, но время от времени «зависает». Каков наилучший способ отладки этого?

Question

Большую часть времени без проблем работает одна из моих групп DAG Airflow.Однако время от времени (каждые> 3 часа) он «зависает».

В этом состоянии его задачи не «ставятся в очередь» (см. Прикрепленное изображение), а также существуют тайм-ауты, которые существуют для определенных задач.не активировать.Единственный способ выбраться из такого сценария - это пометить меня вручную, чтобы он выполнялся как сбой.

За этой ошибкой всегда следует другая немедленная ошибка (см. Пустые ячейки на изображении).

Что я должен искать в журналах и / или какие есть другие способы отладки этого?

Answer 1

Обнаружил проблему, просто некоторые задачи выполнялись дольше, чем график, и, следовательно, выполнялись дважды параллельно.

Я надеялся, что в таких случаях поток воздуха будет обеспечивать некоторую обратную связь в журналах или пользовательском интерфейсе,но это не так.

Решено.