Требование публичного IP-адреса для кафки, работающей на EC2

Question

У нас установлены kafka и zookeeper на одном экземпляре AWS EC2. У нас есть производители и потребители kafka, работающие в отдельных экземплярах ec2, которые находятся в одном VPC и имеют ту же группу безопасности, что и в экземпляре kafka. В конфигурации производителя или потребителя мы используем внутренний IP-адрес сервера kafka для подключения к нему.

Но мы заметили, что нам нужно упомянуть публичный IP-адрес сервера EC2 в качестве advertised.listeners, чтобы позволить производителям и потребителям подключаться к серверу Kafka:

advertised.listeners=PLAINTEXT://PUBLIC_IP:9092

Кроме того, мы должны внести в белый список публичные IP-адреса и открытый трафик на порт 9092 каждого из наших серверов ec2, на которых работают производители и потребители.

Мы хотим, чтобы трафик проходил с использованием внутренних IP-адресов. Есть ли способ, которым нам не нужно вносить в белый список публичные IP-адреса и открытый трафик на порт 9092 для каждого из наших серверов, на которых работает производитель или потребитель?

Answer 1

Из-за изменчивой природы экосистемы, в которой может потребоваться работа kafka, имеет смысл только то, что вы явно указали места, которые может использовать kafka. Единственный способ гарантировать, что внешние части любой системы могут быть доступны через IP-адрес, это убедиться, что вы используете внешние IP-адреса.

Answer 2

Если вы не хотите открывать доступ ко всем для одного из ваших серверов, я бы порекомендовал добавить надлежащий высокопроизводительный веб-сервер, такой как nginx или Apache HTTPD, перед серверами ваших приложений, действующими в качестве обратного прокси-сервера. Таким образом, вы также можете добавить шифрование SSL, и ваш сервер останется в частной сети, пока будет открыт только веб-сервер. Это очень легко, и вы можете найти много учебников о том, как его настроить. Как этот: http://webapp.org.ua/sysadmin/setting-up-nginx-ssl-reverse-proxy-for-tomcat/