AWS EMR на VPC с экземпляром EC2 - PullRequest
Новая
       13

AWS EMR на VPC с экземпляром EC2

0 голосов
/ 27 сентября 2018

Я читаю AWS EMR на VPC, но кажется, что сервис AWS EMR больше подходит для доступа к кластеру EMR для вызовов.

То, что я пытаюсь сделать, - это разместить VPC с экземпляром ALB и EC2, на котором выполняется приложение в качестве службы для доступа к кластеру EMR.

VPC -> Internet Gateway -> Load Balancer -> EC2 (Application endpoints) -> EMR Cluster

Я не хочу, чтобы Cluster был доступен извне, кроме как через Public IP IG.Но Public IP может получить доступ только к приложению хоста экземпляра EC2, которое вызывает кластер EMR на том же VPC.

Это рекомендуемый подход?

Дизайн выглядит примерно так, как показано ниже.enter image description here Некоторые проблемы, с которыми я сталкиваюсь, заключаются в том, как получить доступ к S3 из EMR, если на VPC и если приложение работает на EC2, может ли оно получить доступ к кластеру EMR, и если кластер EMR будет доступен публично?

Приветствуются любые ссылки или рекомендации.

РЕДАКТИРОВАТЬ:

Или, если я создаю EMR на VPC, нужно ли обернуть его внутри другого VPC, как показано ниже?

enter image description here

1 Ответ

0 голосов
/ 28 сентября 2018

Самый простой дизайн:

  • Поместите все в общедоступную подсеть в VPC
  • Используйте Группы безопасности для управления доступом к кластеру EMR

Если вы параноик по безопасности, вы можете использовать:

  • Поместить общедоступные ресурсы (например, EC2) в публичную подсеть
  • Поместить EMR в частную подсеть
  • . Использовать NAT-шлюз или конечные точки VPC, чтобы EMR могла обмениваться данными с S3 (который находится вне VPC)

Первый вариант проще, и группы безопасности действуют как брандмауэры, которые могут полностью защитить кластер EMR.Вы должны создать три группы безопасности:

  • ELB-SG: Разрешить входящий доступ из Интернета на нужные порты.Свяжите группу безопасности с вашим балансировщиком нагрузки.
  • EC2-SG: Разрешить входящий доступ с ELB-SG (из самой группы безопасности).Свяжите группу безопасности с вашими экземплярами EC2.
  • EMR-SG: Разрешите входящий доступ из EC2-SG (из самой группы безопасности).Свяжите EMR-SG с кластером EMR.

Это позволит только балансировщику нагрузки взаимодействовать с экземплярами EC2 и только экземплярам EC2 - с кластером EMR.Кластер EMR сможет напрямую подключаться к Интернету для доступа к Amazon S3 благодаря правилам по умолчанию, разрешающим исходящий доступ.

...