Подключение из проекта GCP к экземпляру в AWS VPC

Question

Я думаю о создании гибридной облачной установки на своем рабочем месте. Прямо сейчас у нас есть задания машинного обучения, работающие в кластере Spark на AWS. То, что я хочу сделать, - это иметь возможность подключаться к этому кластеру из задания Airflow, запущенного на GCP, для вызова различных заданий по мере необходимости и выполнения других задач.

Я не знаю, как это сделать , хоть. Я мог бы создать общедоступный c DNS для кластера Spark, который позволил бы легко подключаться из GCP через Inte rnet, но я предполагаю, что это не идеально для безопасности.

Нужно ли настроить VPN между проектом GCP (т.е. GCP VP C) и AWS VP C? Если так, как я могу это сделать? Я не хочу использовать сторонний продукт, если есть способ сделать это с помощью vanilla GCP и конфигурации AWS.

В принципе, я думаю, что мне нужно, чтобы работа на GCP могла увидеть внутренний DNS кластера Spark и использовать его для подключения, но опять же я не знаю, как это сделать.

Answer 1

Есть несколько факторов, которые следует учитывать.

1. VP C адресация (блоки CIDR). Они не могут перекрываться.
2. GCP в AWS VPN. Это легко настроить.
3. Разрешение DNS. Оба VPC имеют свой собственный DNS. Настройка серверов пересылки и распознавания между GCP и AWS VPC является сложной задачей. Я рекомендую игнорировать эту функцию и использовать частные IP-адреса, если это возможно.
4. Стоимость. Вам понадобится VPN-шлюз с обеих сторон, который имеет почасовую стоимость и стоимость полосы пропускания.
5. Безопасность. Оба VPC имеют правила группы безопасности. Будьте осторожны с правилами маршрутизации, чтобы случайно не отправлять Inte rnet traffi c через VPN.

Резюме:

Ваши требования очень легко выполнить, кроме для разделения имен DNS. Перепроверьте цену, чтобы у вас не было никаких сюрпризов.