У меня настроен поток воздуха с работником сельдерея, а брокер сельдерея - redis. Все сервисы работают, и я слежу за цветами для работников и задач сельдерея.
когда я запускаю этот запрос в базе данных воздушного потока
select count(*), executor_class, min(start_date), max(start_date) from airflow.job where
start_date > '2020-01-17' group by executor_class;
я вижу много заданий, имеющих executor_class в качестве NoneType:
Я настроил поток воздуха в соответствии с требованиями документации 1.10.6. Но все работы перестали работать на CeleryExecutor с 2020-01-17 05:38. Это было время обновления воздушного потока, и он назначает NoneType после обновления до 1.10.6 с 1.10.1. Также мониторинг в цветке показывает, что все работники сельдерея активны, но они не отправляют никаких сообщений через брокера.
airflow config
celery_app_name = airflow.executors.celery_executor
worker_concurrency = 16
worker_log_server_port = 8793
broker_url = redis://localhost:6379/0
result_backend = redis://localhost:6379/0
flower_host = 0.0.0.0
flower_port = 5555
default_queue = default
celery_config_options = airflow.config_templates.default_celery.DEFAULT_CELERY_CONFIG
executor = CeleryExecutor
dag_concurrency = 16
task_runner = StandardTaskRunner
что я должен сделать, чтобы убедиться, что заданиям назначен «CeleryExecutor», чтобы DAG запускались (как заставить посредников по сельдерею назначать эти задания работникам сельдерея )?