Не удается отразить сообщения от производителя Kafka в контейнере для потребителя - PullRequest
Новая
       33

Не удается отразить сообщения от производителя Kafka в контейнере для потребителя

0 голосов
/ 14 февраля 2019

Я пытаюсь отразить тему kafka от поставщика в контейнере в экземпляре ec2 для потребителя, и сообщения не приходят.Я подозреваю, что я что-то путаю с конфигами .properties, так как я впервые использую MirrorMaker.Возможно, я также ошибся указанием на неправильные порты где-то по пути.

Потенциальный брокер провайдера работает в контейнере centOS в экземпляре ec2.Поставщик получает данные с удаленного сервера MySQL через настроенный пользователем коннектор источника jdbc в тему под названием mysql-jdbc-events.Поставщик успешно получает сообщения.

Потенциальный потребитель в настоящее время находится на экземпляре хоста ec2, хотя он изменится после успешного тестирования.Я сопоставил порт 12181 хоста с портом 2181 контейнера (где работает zookeeper).Я выполняю команду MirrorMaker от потребителя.

Я выполнил команду 

./kafka-run-class.sh kafka.tools.MirrorMaker --consumer.config /path/to/config/consumer.properties --producer.config /path/to/config/producer.properties --whitelist "mysql-jdbc-events"

consumer.properties: 

# format: host1:port1,host2:port2 ...
zookeeper.connect=(host ip-address):12181
zookeeper.connection.timeout.ms=10000
bootstrap.servers=localhost:9092

# consumer group id
group.id=mirror_group

provider.properties: 

# format: host1:port1,host2:port2 ...
zookeeper.connect=(host ip-address):2181
bootstrap.servers=localhost:9092

# specify the compression codec for all data generated: none, gzip, snappy, lz4, zstd
compression.type=none

Я пробовал как с параметром zookeeper.connect, так и без него в конфигурации производителя, поскольку обнаружил, что это необходимо.Я также получил предупреждение о влиянии WARN The configuration 'zookeeper.connect' was supplied but isn't a known config., но я читал в другом месте на SO, что это может быть проигнорировано.

Я не получил никаких сообщений, заполненных в теме на потребителя, но есть сообщения втема у производителя.

Если вам нужна дополнительная информация, пожалуйста, дайте мне знать.

Я также не женат на этой конфигурации - если есть проще способ сохранить jdbc в контейнере и пересылать сообщения экземпляру kafka вне контейнера, это тоже хорошо.

...