Как построить пограничный узел dataproc Google Cloud? - PullRequest
Новая
       20

Как построить пограничный узел dataproc Google Cloud?

1 голос
/ 06 июня 2019

Мы переходим из среды On-Premises к облачному хранилищу данных Google для рабочих заданий.Я могу построить кластер, хотя и SSH к главному узлу для выполнения задания.Я не понимаю, как построить пограничный узел, где мы можем позволить пользователям войти в систему и отправить работу.Это будет другой GCE VM?Есть мысли или лучшие практики?

1 Ответ

1 голос
/ 07 июня 2019

Новый экземпляр VM является хорошим вариантом для сопоставления роли EdgeNode с другими архитектурами:

  • Вы можете выполнять свою работу с главного узла, который вы можете сделать доступным через SSH.

  • Вам необходимо найти баланс между простотой (SHH) или безопасностью (EdgeNode).

  • Обратите внимание, что IAM может помочь отдельным пользователям отправлять задания, назначив роль редактора Dataproc .

Донне забывайте о способности Dataproc создавать эфемерные узлы.Это означает, что вы создаете кластер, выполняете свою работу и удаляете свой кластер.

Использование эфемерных кластеров позволит избежать ненужных затрат.Даже сценарий, который вы создаете для этого, может быть выполнен с любого компьютера, на котором установлен Google Cloud SDK, например, с серверов OnPrem или вашего ПК.

...