Воздушный поток 1.9 - Задачи застряли в очереди

Question

Последняя установка Apache-Airflow из PyPy (1.9.0)

Установка включает в себя:

1. Apache-Airflow
2. Apache-Airflow [сельдерей]
3. RabbitMQ 3.7.5
4. Сельдерей 4.1.1
5. Postgres

У меня есть установка на 3 хостах.

Хост № 1

• Веб-сервер воздушного потока
• Планировщик воздушного потока
• Сервер RabbitMQ
• Сервер Postgres

Хост № 2

• Рабочий поток воздуха

Хост № 3

• Airflow Worker

У меня есть простая группа обеспечения доступности баз данных, которая выполняет задачу BashOperator, которая запускается каждую 1 минуту.Я могу видеть, что планировщик «ставит в очередь» задание, однако он никогда не добавляется в очередь Celery / RabbitMQ и забирается рабочими.У меня есть пользователь RabbitMQ, аутентификация в порядке.Flower, однако, не показывает ни одной из очередей, заполненных данными.Он видит две рабочие машины, прослушивающие их соответствующие очереди.

Вещи, которые я проверял:

• Конфигурация пула воздушного потока
• Воздушный потокпеременные окружения
• Обновление / понижение версии Celery и RabbitMQ
• Разрешения Postgres
• Разрешения RabbitMQ
• Журналы воздушного потока на уровне отладки

Iпрочитайте раздел документации о работах, которые не выполняются.Моя переменная "start_date" является статической датой, которая существует до текущей даты.

ОС: Centos 7

Answer 1

Мне удалось выяснить это, но я не уверен, почему это ответ.

Исправлено изменение переменной «broker_url» для использования «pyamqp» вместо «amqp».