Google Cloud Composer слишком долго для установки зависимостей

Question

Я следую Документам от Google Cloud Composer, чтобы установить мои зависимости Python от PyPI (https://cloud.google.com/composer/docs/how-to/using/installing-python-dependencies#install-package)

Я использовал эту команду для установки библиотек из файла требований:

gcloud composer environments update ENV_NAME \
--update-pypi-packages-from-file requirements.txt \
--location us-east4

Это был всего лишь тест, и для этого требования нужно установить только 4 библиотеки, но для выполнения этой команды требуется более 20 минут. Поэтому я попытался использовать пользовательский интерфейс и установить оттуда один пакет, и это занимает почти то же время. Что-то не имеет смысла для меня, когда я выполняю эти команды, среда переходит в «состояние обновления» и требуется несколько минут, чтобы снова быть готовым, почему Composer занимает так много времени, чтобы выполнить pip install?

Кто-то уже сталкивался с подобной проблемой? Как вы, ребята, управляете установкой зависимостей Python в Composer?

Спасибо

Answer 1

Причина, по которой среды Cloud Composer обновляются так долго, заключается в том, что служба развертывает Airflow в распределенной настройке в Google Kubernetes Engine и App Engine (для веб-сервера).Это означает, что служба должна заботиться о создании / перестройке образов контейнеров, их повторном развертывании в кластере, обновлении приложения веб-сервера и т. Д.

Хотя это означает, что установка пакетов или обновлений среды может занятьнемного времени, это то, что делает Composer простым в использовании - предоставляя вам однократный эквивалент pip install, даже если у вас есть десятки рабочих узлов.