Как получить доступ к моей очереди kafka, управляемой AWS MSK, с моего локального компьютера и экземпляров EC2 в других регионах?

Question

Я устанавливаю управляемую очередь kafka на AWS MSK.Кажется, я не могу заставить работать систему безопасности при подключении с локального компьютера, и я не могу понять, могу ли я использовать группы безопасности из одного региона в другой.

Я просмотрел информацию онастройка групп безопасности по основной документации здесь .Я все еще не могу подключиться к брокеру.В настоящее время я использую сценарии kafka с моей локальной машины следующим образом:

bin/kafka-console-producer.sh --broker-list "my-broker-ip:9092" --topic "some-topic"

, но продолжаю получать результат

[2019-01-28 12:06:13,278] WARN [Producer clientId=console-producer] Connection to node -1 could not be established. Broker may not be available. (org.apache.kafka.clients.NetworkClient)

Я связал свой локальный IP со всеми портамив группе безопасности, которую я настроил с помощью своего VPC и связал с очередью kafka, но это, похоже, не помогло.Я также не понимаю, как связать свои ящики с очередью кафки, поскольку они находятся в разных регионах.Возможно ли это?

В настоящее время я использую сценарии kafka с моей локальной машины следующим образом:

bin / kafka-console-producer.sh --broker-list "my-broker-ip: 9092 "--topic" some-topic "

, но продолжать получать результат

[2019-01-28 12: 06: 13,278] WARN [Producer clientId = console-produser] Соединение с узлом -1 не может быть установлено.Брокер может быть недоступен.(org.apache.kafka.clients.NetworkClient)

Я связал свой локальный IP со всеми портами в группе безопасности, которые я установил с помощью своего VPC и связал с очередью kafka, но это не такпохоже, помогло.Я также не понимаю, как связать свои ящики с очередью кафки, поскольку они находятся в разных регионах.Возможно ли это?

Я ожидаю, что смогу подключить мой локальный код производителя к очереди kafka и наблюдать за выводом, а не постоянно отклонять соединение.

Answer 1

Как уже упоминалось @Robin, вы не можете получить доступ к MSK напрямую с локальной машины, используя клиент kafka или поток kafka.Поскольку URL-адрес брокера, строка соединения zookeeper являются частными IP-адресами кластера msk vpc / subnet.Чтобы получить доступ через клиент kafka, вам нужно запустить экземпляр ec2 в том же vpc MsK и выполнить клиент kafka (производитель / потребитель) для доступа к кластеру msk.

Но вы можете настроить kafka Rest Proxy *Платформа 1004 *, открытая Confluent для доступа к кластеру MSK из внешнего мира через остальные API.Этот фреймворк является полноценным kafka cient и не допускает всех операций клиента kafka, но вы можете выполнять большинство операций на кластере, начиная с выборки метаданных кластера, информации о теме, создания и потребления сообщения и т. Д.

Я подробно ответил на этот сценарий, а также на несколько других вопросов, связанных с MSK, см.

Поток Amazon Managed Streaming для Kafka-MSK и его характеристики

Answer 2

AFAIK у вас есть для доступа к вашему кластеру MSK с клиентского компьютера на EC2 , и вы не можете сделать это с локального компьютера.