Планировщик воздушного потока не забирает задачи, задача ждет вечно

Question

Я столкнулся с проблемой, из-за которой работники по какой-то причине не могли выполнить мою задачу в теге.Когда я смотрю на детали задачи:

Все зависимости выполнены, но экземпляр задачи не запущен.В большинстве случаев это просто означает, что задача, вероятно, будет запланирована в ближайшее время, если: - Планировщик не работает или находится под большой нагрузкой

Если этот экземпляр задачи не запускается в ближайшее время, обратитесь за помощью к администратору Airflow.

Я проверил планировщик, в журнале нет ошибок, также несколько раз перезапустил его.

Я также проверил журнал веб-сервера airflow, обратите внимание только на это:

22/11/2018 12:10:39 [2018-11-22 01: 10: 39,747] {{cli.py:644}} DEBUG - [5/5] убило 1 работника 22/11/2018 12:10: 39 [2018-11-22 01:10:39 +0000] [43] [INFO] Обработка сигнала: ttou 22/11/2018 12:10:39 [2018-11-22 01:10:39 +0000][348] [INFO] Рабочий выходит (pid: 348)

Не уверен, что произойдет, раньше все работало нормально.

Версия 1.9.0 Airflow, только никогда не меняйте версию, толькоперебирая некоторые конфиги: min_file_process_interval и dag_dir_list_interval (но я возвращаю его к настройкам по умолчанию при возникновении этой проблемы)

Answer 1

Я замечаю, что это происходит, когда я играю с некоторыми настройками воздушного потока и перестраиваю наше изображение воздушного потока докера, затем я возвращаю его обратно к исходной версии, которая раньше работала.Тогда проблема решена.

Я также заметил, что одна ошибка произошла (но не всегда фиксируется) в моих работниках сельдерея, когда я использую недавно построенный образ:

Неустранимая ошибка: AttributeError ("У объекта 'float' нет атрибута 'items' ",)

Итак, выясните, что он связан с последней версией Redis (Celery будет использовать Redis), вы можете найти подробнее .