Уменьшить задержку при восстановлении / обновлении Google Cloud Composer? - PullRequest
0 голосов
/ 27 мая 2020

Я работаю с Google Cloud Composer, и всякий раз, когда я изменяю переменную среды или любой параметр воздушного потока, это вызывает перестройку среды воздушного потока.

Я думал, что может быть способ разрешить зависимости пакетов (ie. upload python packages), чтобы сократить задержку восстановления.

Я прошу, потому что восстановление может занять от 2 до 15 минут.

Кому-нибудь повезло с сокращением времени сборки (с увеличением затрат или без него)?

1 Ответ

0 голосов
/ 28 мая 2020

Обновление среды обычно занимает от 5 до 30 минут в облаке Composer, и в настоящий момент все работает, как задумано. Пожалуйста, проверьте этот publi c трекер проблем для получения дополнительной информации. Вы можете нажать +1, чтобы сделать его более видимым для команды инженеров Cloud Composer.

Обратите внимание, что Composer требует большого количества ресурсов, т.е. развертывает Airflow внутри Google Kubernetes Engine и App Engine, которые заставляют перестраивать образы контейнера, обновлять веб-сервер Airflow и т. Д. Я предлагаю вам взглянуть на следующую документацию Cloud Composer архитектура , где вы можете найти все компоненты, которые необходимо обновлять при каждом изменении.

Вы можете проверить, есть ли какие-либо ваших POD находятся в состоянии Evicted, что означает, что у вашего узла мало ресурсов, поэтому вам следует рассмотреть возможность использования машины с более высокими ресурсами вместо стандартной n1-standard-2.

Надеюсь, вы найдете вышеуказанные части полезной информации.

...