Как apt-get установить пакеты в kubernetes для Google Cloud Composer

Question

Я использую Cloud composer для организации своего экземпляра airflow, но не знаю, как установить пакеты для рабочего потока bash.

Ранее я запускал airflow на экземпляре google compute engine с помощью docker, это было легкочтобы указать требования через файл docker make.

Как новичку в kubernetes и Cloud composer, мне было интересно, могу ли я сделать что-то подобное для kubernetes / Cloud composer, как я делал это ранее для docker?

Я хочу установить lzop для Unix, а также нужно обновить конфигурационный файл gsutil boto с учетными данными s3.

Как вы переносите новый образ докера в kubernetes и воссоздаете его для модулей?

Извините, если мой язык неверен, это ново для меня

Answer 1

В настоящий момент, если я правильно прочитал документацию, вы не можете изменять изображения, используемые Composer.Если вы не развернете свое собственное решение в кластере Kubernetes, я думаю, вы не сможете расширить его за пределы библиотек Python и плагинов Airflow.

Вы можете подключиться к каждому рабочему экземпляру Compute Engine и установить его вручную на каждой машине.

Вы можете попробовать запустить apt через BashOperator, но я сомневаюсь, что у вас все получится;К сожалению, Composer по-прежнему является бета-продуктом, и многие функции все еще находятся в процессе разработки.

Answer 2

Если я правильно понял ваш вопрос, то вот мой ответ.

Kubernetes - организатор Docker, поэтому в кластере Kubernetes вы можете использовать изображения Airflow, созданные вами для Docker.

Просто создайте свой собственный образ, используя docker build <you_Dockerfile>, перенесите его в свой реестр, и после этого вы сможете использовать образ в разделе image: <your_registry>/<your_image> в YAML-файле развертывания Airflow для Kubernetes.Здесь вы можете найти пример Настройка Apache Airflow на Kubernetes .

Что касается Cloud Composer, то это полностью управляемая служба управления рабочими процессами, построенная на Apache Airflow.Это не инструмент для управления воздушным потоком.Для получения дополнительной информации, вы можете просмотреть ссылку, есть короткое видео с кратким объяснением: Cloud Composer