Согласно Сельдерей документация в части транспорта брокеры поддержка, RabbitMQ и Redis полностью Рекомендуемые и квалифицированные как стабильные решения.
Согласно списку, который вы предоставили для любых альтернатив, Zookeper может быть также принят в качестве исполнителя Celery в Airflow, но только в качестве экспериментального варианта. с некоторыми функциональными ограничениями.
Подробности установки для реализации брокера Zookeper вы можете найти здесь .
Используя пакет Python:
$ pip install "celery[zookeeper]"
You можно проверить все доступные расширения в исходном коде setup.py
код .
Ссылка на документацию по Airflow:
CeleryExecutor является одним из способы, которыми вы можете уменьшить количество работников. Чтобы это работало, вам нужно настроить бэкэнд Celery (RabbitMQ, Redis, ...) и изменить airflow.cfg
, указав для параметра executor значение CeleryExecutor
и указать соответствующие настройки Celery.
После того, как будет подготовлен конкретный бэкэнд Celery, отрегулируйте соответствующие настройки в файле airflow.cfg
, для любых возникающих сомнений обратитесь к этому примеру .