Прочитайте сообщения Docker Kafka, заполненные debezium postgres connect - PullRequest
Новая
       14

Прочитайте сообщения Docker Kafka, заполненные debezium postgres connect

0 голосов
/ 04 июня 2019

Я использую разъем Debezium Postgres.У меня есть две таблицы в Postgres, названные «публикации» и «комментарии».kafka и zookeeper работают в док-контейнерах согласно стандартным примерам.Postgres работает локально.После использования подключения debezium postgres у меня появились следующие темы: 

$ bin/kafka-topics.sh --list --zookeeper localhost:2181
  • __ consumer_offsets
  • dbserver1.public.comments
  • dbserver1.public.publications
  • my_connect_configs
  • my_connect_offsets
  • my_connect_statuses

Я хотел бы увидеть список сообщений в теме: 

$ bin/kafka-console-consumer.sh --bootstrap-server kafka:9092 --topic dbserver1.public.publications

[2019-06-03 21: 55: 16,180] WARN [Consumer clientId = consumer-1, groupId = console-consumer-5221] Не удалось установить соединение с узлом -1 (kafka / 23.202.231.166: 9092),Брокер может быть недоступен.(org.apache.kafka.clients.NetworkClient) [2019-06-03 21: 55: 16,289] WARN [Consumer clientId = consumer-1, groupId = console-consumer-5221] Подключение к узлу -1 (kafka / 23.202.231.166: 9092) не может быть установлено.Брокер может быть недоступен.(org.apache.kafka.clients.NetworkClient) [2019-06-03 21: 55: 16,443] WARN [Consumer clientId = consumer-1, groupId = console-consumer-5221] Подключение к узлу -1 (kafka / 23.202.231.166: 9092) не может быть установлено.Брокер может быть недоступен.(org.apache.kafka.clients.NetworkClient) [2019-06-03 21: 55: 16,721] ПРЕДУПРЕЖДЕНИЕ [Потребительский clientId = потребитель-1, groupId = консоль-потребитель-5221] Подключение к узлу -1 (kafka / 23.202.231.166: 9092) не может быть установлено.Брокер может быть недоступен.(org.apache.kafka.clients.NetworkClient) [2019-06-03 21: 55: 17,145] WARN [Consumer clientId = consumer-1, groupId = console-consumer-5221] Соединение с узлом -1 (kafka / 23.202.231.166: 9092) не может быть установлено.Брокер может быть недоступен.(org.apache.kafka.clients.NetworkClient) [2019-06-03 21: 55: 18,017] WARN [Consumer clientId = consumer-1, groupId = console-consumer-5221] Подключение к узлу -1 (kafka / 23.202.231.166: 9092) не может быть установлено.Брокер может быть недоступен.(org.apache.kafka.clients.NetworkClient) ^ C Всего обработано 0 сообщений

$ bin / kafka-console-consumer.sh --bootstrap-server localhost: 9092 --topic dbserver1.public.publications

[2019-06-03 21: 55: 16,180] WARN [Consumer clientId = consumer-1, groupId = console-consumer-5221] Соединение с узлом -1 (kafka / 23.202.231.166: 9092) можетне будет установлено.Брокер может быть недоступен.(org.apache.kafka.clients.NetworkClient)

Как указать правильное значение для загрузочного сервера?Спасибо.

Ответы [ 2 ]

0 голосов
/ 05 июня 2019

Если вы используете kafka-console-consumer.sh за пределами докера, вам следует использовать localhost имя хоста.Если он находится внутри контейнера Docker, убедитесь, что он находится в контейнере, который видит kafka имя хоста.

0 голосов
/ 04 июня 2019

Я предполагаю, что вы пытаетесь подключиться к брокеру kafka с внешнего сервера.

Поскольку вы уже упоминали, что ваши экземпляры Kafka и Zookeeper работают из образов докеров. Вам нужно идентифицировать внешний порт вашего образа докера, соответствующий 9092, а также его внешний IP-адрес, и вы должны указать его вместе с параметром --bootstrap-server при выполнении команды kafka-console-consumer.sh

...