Подключите Python к кафке на AWS EC2 с локальной машины

Question

Я пытаюсь подключить мое приложение python к kafka, работающему на AWS EC2. Я могу соединиться с ec2 через терминал, который я проверяю с помощью telnet <ec2 ip> 9092. Я могу подключиться через это, но не могу подключиться к приложению python. Даже если мое приложение python запускается без ошибок с IP-адресом ec2, я не могу получить какие-либо данные из моего kafka topi c с ec2 на локальную машину.

Когда я добавляю свои puli c IP-адрес для:

advertised.listeners=PLAINTEXT://<local ip addrss>:9092 

Разъём Debezium с kafka-connect не запускается, но без включения advertised.listeners работает.

Как настроить kafka и kafka-connect чтобы я мог использовать kafka topi c из экземпляра ec2 на моей локальной машине?

Answer 1

Необходимо установить advertised.listeners в качестве EC2 Publi c DNS / IP, перезапустить посредник, а затем открыть соединение брандмауэра VP C / на порту прослушивания.

Свойство Debezium rest.advertised.listener отличается от свойства брокера Kafka, и его не нужно устанавливать на локальном компьютере.

Python и Kafka Connect должны использовать один и тот же протокол bootstrap.server

Вы можете лучше протестировать своих слушателей, используя kafkacat -L -b <bootstrap>:9092