воздушный поток сельдерея Работа застряла в рабочем состоянии

Question

Я пытаюсь настроить поток воздуха с помощью CeleryExecutor. Я использую postgres в качестве базы данных, rabbitmq в качестве посредника сообщений. Все запланированные задания потока воздуха переходят в рабочее состояние, но они никогда не запускаются. Я не вижу ошибок в rabbitmq журналах или журналах воздушного потока. любая помощь приветствуется

Вот мой брокер и серверные URL

broker_url = amqp://guest:guest@127.0.0.1/airflow

celery_result_backend = db+postgresql://airflow:airflow@127.0.0.1:5432/airflow

sql_alchemy_conn = postgresql+psycopg2://airflow:airflow@127.0.0.1:5432/airflow

Answer 1

Вы проверяли, правильно ли присоединились работники сельдерея к rabbitmq? Вы можете использовать для этого цветок, веб-инструмент для мониторинга и администрирования кластеров Celery. Вы можете просто запустить его, используя airflow flower

В большинстве случаев, исходя из моего прошлого опыта, когда задание запланировано, но не выполняется, возникает проблема с работниками сельдерея. В нашем случае мы используем Postgres + Redis, и проблема была связана с рабочими и Redis.