Создание развертывания в Kubernetes с Apache Airflow

Question

Я хочу создать kubernetes для развертывания вместо модуля. Есть ли способ сделать это в Apache Airflow? , Я знаю о KubernetesPodOperator, но я хочу, чтобы вид: Развертывание, а не как вид: Pod.

KubernetesPodOperator в Apache Airflow

k = KubernetesPodOperator(namespace='default',
                          image="ubuntu:16.04",
                          cmds=["bash", "-cx"],
                          arguments=["echo", "10"],
                          labels={"foo": "bar"},
                          secrets=[secret_file,secret_env]
                          volume=[volume],
                          volume_mounts=[volume_mount]
                          name="test",
                          task_id="task",
                          affinity=affinity,
                          is_delete_operator_pod=True,
                          hostnetwork=False,
                          tolerations=tolerations
                          )

Спасибо

Answer 1

Я хочу создать kubernetes для развертывания вместо модуля.Есть ли способ сделать это в Apache Airflow?

Не совсем. Apache Airflow - это инструмент для запуска пакетных задач, определенных в DAG , который не соответствует шаблону выполнения рабочей нагрузки в Kubernetes Deployment .Развертывание предназначено для приложений с длительным сроком службы, которые не завершают свою работу, если не произойдет сбой, или вы явно не прекратите / удалите его (иначе, как правило, микросервисы без состояния)

Контроллер в Kubernetes, который больше соответствуетApache Airflow - это контроллер Job , который также создает Pod при запуске.Но именно здесь Airflow предоставляет более богатый набор функций, таких как поддержка DAG

В целом, иметь возможность создавать развертывание с помощью Airflow более приятно, но не очень.обязательно вписывается в основной шаблон использования инструмента.Я предлагаю использовать другой инструмент / метод для создания ваших развертываний.