Конфигурация воздушного потока - Celery Executor / Kubernetes Exexutor - PullRequest
0 голосов
/ 09 июля 2019

Я использую Hadoop и Spark в многоузловой среде. Я установил Airflow для автоматизации нескольких задач зажигания. Для запуска этих групп доступности баз данных в нескольких узлах, является ли Celery executor или Kubernetes executor лучшим вариантом в Airflow?

1 Ответ

0 голосов
/ 09 июля 2019

CeleryExecutor построен для горизонтального масштабирования. Планировщик добавляет сообщение в очередь, а брокер Celery доставляет его работнику Celery. У нас есть фиксированные ресурсы для запуска Celery Worker, если при одновременной обработке большого количества задач у нас определенно возникают проблемы с ресурсами. И в то время как никакая задача не обрабатывается, мы стираем деньги в это время.

С KubernetesExecutor для каждой задачи, которая должна быть запущена, Исполнитель обращается к API Kubernetes для динамического запуска дополнительного модуля Pod. Используя Kubernetes, вы можете увеличивать или уменьшать масштаб, чтобы сэкономить ресурсы и сэкономить деньги

...