Схема управления воздушным потоком с несколькими определениями рабочих очередей

Question

Я использую Airflow с CeleryExecutor, и они упакованы и развернуты с помощью рулевых диаграмм. У меня есть один рабочий, которого я могу увеличить / уменьшить, указав количество реплик в файле yaml. Этот работник работает как StatefulSet и по умолчанию использует очередь airflow. Можно ли создать еще одну диаграмму StatefulSet для другого работника и указать имя очереди? Таким образом, для файлов определений DAG я также могу указать очередь для использования.

Answer 1

В вашем случае было бы лучше использовать Kubernetes Executor вместо разделения лога управления работником c между StatefulSets.

Представлен исполнитель kubernetes в Apache Воздушный поток 1.10.0. Исполнитель Kubernetes создаст новый модуль для каждого экземпляра задачи.

Более подробную информацию об этом можно найти в этой документации .

А также я рекомендую этот блог .

Надеюсь, это поможет.