Брокеры для Celery Executor в Airflow - PullRequest
0 голосов
/ 13 февраля 2020

Можно ли использовать следующие брокеры вместо Redis или RabbitMQ:

  1. Zookeeper
  2. IBM MQ
  3. Кафка
  4. Мегакэша

Если так, как я смогу использовать его?

Спасибо

1 Ответ

0 голосов
/ 13 февраля 2020

Согласно Сельдерей документация в части транспорта брокеры поддержка, RabbitMQ и Redis полностью Рекомендуемые и квалифицированные как стабильные решения.

Согласно списку, который вы предоставили для любых альтернатив, Zookeper может быть также принят в качестве исполнителя Celery в Airflow, но только в качестве экспериментального варианта. с некоторыми функциональными ограничениями.

Подробности установки для реализации брокера Zookeper вы можете найти здесь .

Используя пакет Python:

 $ pip install "celery[zookeeper]"

You можно проверить все доступные расширения в исходном коде setup.py код .

Ссылка на документацию по Airflow:

CeleryExecutor является одним из способы, которыми вы можете уменьшить количество работников. Чтобы это работало, вам нужно настроить бэкэнд Celery (RabbitMQ, Redis, ...) и изменить airflow.cfg, указав для параметра executor значение CeleryExecutor и указать соответствующие настройки Celery.

После того, как будет подготовлен конкретный бэкэнд Celery, отрегулируйте соответствующие настройки в файле airflow.cfg, для любых возникающих сомнений обратитесь к этому примеру .

...