Google Cloud Composer Региональный кластер Kubernetes

Question

Я хотел бы настроить региональные кластеры в кластере kubernetes, лежащие в основе сред Cloud Composer.В этом вопросе с октября 2018 года я видел, что эта функция не была доступна в составе Composer.

Google Cloud Composer с региональным кластером kubernetes

Документация, однако, предполагает, что существует способ настроить среду в разных зонах: "ДляВ простых случаях использования вы можете создать одну среду в одном регионе. Для сложных случаев использования вы можете создать несколько сред в одном регионе или в нескольких регионах ".

Мне было интересно, есть ли примеры такого типа установки или, альтернативно, если формулировка документации относится к нескольким отдельным средам композитора, и если да, то как вы будете работать с планировщиком, чтобы избежать выполнения идентичных заданий?через несколько развертываний композитора.

https://cloud.google.com/composer/docs/concepts/overview#environments

Answer 1

Я не могу комментировать особенности Cloud Composer, но я думаю, что если вы понимаете Региональные кластеры GKE , это поможет вам понять.

По умолчанию GKE использует "zonal«кластеры, где каждый пул узлов (и, следовательно, узлы) принадлежат зоне (например, us-central1-a).

В« региональных »кластерах у вас все еще есть один кластер.Однако каждый созданный пул узлов GKE реплицируется в 3 зоны в этом регионе (например, us-central1-a, -b и -c).

Таким образом, при создании «регионального» кластера с2 узла, вы получите 6 узлов в вашем кластере.Эти узлы будут созданы из 3 разных пулов узлов, которые распределены по разным зонам в одном и том же регионе.

Если Cloud Composer работает в кластере GKE, имея «региональные» кластеры, он все равно будет видеть всевещь, как один кластер, и я предполагаю, что вы не будете выполнять одно и то же задание несколько раз.