Airflow 1.9.0 стоит в очереди, но задачи не выполняются - PullRequest
0 голосов
/ 18 ноября 2018

Поток воздуха внезапно прекратил выполнение задач. Ниже все бегут airflow scheduler airflow webserver airflow worker

веб-сообщение

Все зависимости выполнены, но экземпляр задачи не запущен. В большинстве случаи это просто означает, что задача, вероятно, будет намечена в ближайшее время если: - Планировщик не работает или находится под большой нагрузкой

Если этот экземпляр задачи не запускается в ближайшее время, пожалуйста, свяжитесь с вашим Airflow Администратор за помощь.

Планировщик, кажется, находится в цикле, повторяет следующие сообщения. WebUI показывает, что задачи находятся в очереди. Пробовал перезапускать планировщик, не помогло.

[2018-11-17 22:03:45,809] {{jobs.py:1607}} DEBUG - Starting Loop...
[2018-11-17 22:03:45,809] {{jobs.py:1627}} INFO - Heartbeating the process manager
[2018-11-17 22:03:45,810] {{jobs.py:1662}} INFO - Heartbeating the executor
[2018-11-17 22:03:45,810] {{base_executor.py:103}} DEBUG - 124 running task instances
[2018-11-17 22:03:45,810] {{base_executor.py:104}} DEBUG - 0 in queue
[2018-11-17 22:03:45,810] {{base_executor.py:105}} DEBUG - 76 open slots
[2018-11-17 22:03:45,810] {{base_executor.py:132}} DEBUG - Calling the <class 'airflow.executors.celery_executor.CeleryExecutor'> sync method
[2018-11-17 22:03:45,810] {{celery_executor.py:80}} DEBUG - Inquiring about 124 celery task(s)

Настройка воздушного потока: apache-airflow[celery, redis, all]==1.9.0

Я также проверил эти сообщения, но мне не помогло:

Воздушный поток 1.9.0 находится в очереди, но не запускает задачи

Задачи воздушного потока застревают в состоянии «в очереди» и никогда не запускаются

1 Ответ

0 голосов
/ 20 ноября 2018

Проблема решена. Это проблема, когда вы создаете свою сборку в 2018-11-15 или после нее Оказывается, apache-airflow[celery, redis, all]==1.9.0 принимает последнюю версию redis-py 3.0.1, которая не работает с сельдерей 4.2.1. Решение заключается в использовании Redis-Py 2.10.6 redis==2.10.6 apache-airflow[celery, all]==1.9.0

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...