Проблемы при запуске Airflow как кластера с исполнителями Celery - PullRequest
0 голосов
/ 25 января 2019

Я пытаюсь настроить Airflow как кластер.Исполнителю сельдерея не удается подключиться к rabbitmq при выполнении заданий. Вот конфигурации:

Machine 1: webserver and scheduler
Machine 2: webserver
Machine 3: worker
Machine 4: Rabbitmq

Airflow version: v1.8.0
Celery version: 4.1.0
Flower UI version: 0.9.1



**airflow.cfg**
airflow_home = ~/airflow
dags_folder = ~/airflow/dags
base_log_folder = ~/airflow/logs
executor = CeleryExecutor
sql_alchemy_conn = mysql://reco_airflow:password@10.32.170.111:3306/airflow
sql_alchemy_pool_size = 5
dag_concurrency = 16
dags_are_paused_at_creation = False
plugins_folder = ~/airflow/plugins
# Secret key to save connection passwords in the db
api_client = airflow.api.client.local_client
endpoint_url = http://10.34.110.227:8080
base_url = http://10.34.110.227:8080
web_server_host = 0.0.0.0
web_server_port = 8080
workers = 4
broker_url = amqp://guest:guest@10.34.94.212:5672//
celery_result_backend = db+mysql://reco_airflow:password@10.32.170.109:3306/airflow
flower_host = 10.34.110.227
flower_port = 5555
default_queue = queue

Дагс успешно работают с использованием исполнителя сельдерея.Но я не вижу никакой связи с rabbitmq (он всегда бездействует).Кроме того, если я пытаюсь использовать цветок, пользовательский интерфейс открывается, но продолжает загружаться и перестает отвечать через ~ 5 секунд.Нет ошибок в журналах.Я что-то упустил в конфигурации?

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...