Доступ к сервисам Google Cloud Kubernetes из Dataproc - PullRequest
Новая
       13

Доступ к сервисам Google Cloud Kubernetes из Dataproc

4 голосов
/ 20 апреля 2020

У меня есть служба Kubernetes, которая собирает модели. Система, которая создает эти модели, - это задание Python Datapro c.

-> Мне нужен способ получить sh результат задания Datapro c в службу сбора моделей.

Вопрос : Как получить доступ к службе в кластере Kubernetes из Datapro c, какие у меня есть варианты?

Нужен ли входной контроллер? Можно ли получить доступ к сети Kubernetes (включая DNS) из Datapro c? Будет ли вариант сделать это через gcloud (переадресация, но это не выглядит элегантно из Python)?

1 Ответ

1 голос
/ 20 апреля 2020

Datapro c и узлы GKE являются виртуальными машинами GCE, по умолчанию они могут обращаться к службам в одной и той же VP C сети через внутренний IP, внутренний DNS или имя хоста. Но, к сожалению, модули работают в другом слое виртуальной сети над сетью VP C, которые не доступны для виртуальных машин напрямую.

Существует несколько вариантов сделать службы GKE доступными для узлов Datapro c (и GCE). Виртуальных машин в целом), но я бы посоветовал вам поместить кластер GKE и кластер Datapro c в одну и ту же сеть VP C, а затем создать специальный ресурс службы k8s с типом LoadBalancer и аннотацией cloud.google.com/load-balancer-type: "Internal" для вашего модуля Pod, тогда виртуальные машины в том же VP C могут получить доступ к службе через ее внутренний IP-адрес. См. do c для более подробной информации.

...