Я столкнулся со странной проблемой, когда мой производитель зеркал может зеркально отображать имя темы в целевом кластере, но я не вижу сообщений, когда пытаюсь получить сообщения от него.Ниже приведен мой файл конфигурации:
provider.config
bootstrap.servers=dest_broker_ip:9092,dest_broker_ip:9092
acks=1
batch.size=100
max.in.flight.requests.per.connection=1
retries=1000000
client.id=mirror_maker_producer
consumer.config
bootstrap.servers=source_broker_ip:9092,source_broker_ip:9092,source_broker_ip:9092
exclude.internal.topics=true
group.id=test-consumer-group_3
client.id=mirror_maker_consumer
Затем я запускаю зеркало с помощью следующей команды
bin/kafka-run-class.sh kafka.tools.MirrorMaker --consumer.config config/consumer.config --producer.config config/producer.config --whitelist=".*"
После запуска программы создания зеркал я перехожу к исходному кластеру и создаю тему вместе с некоторыми сообщениями с помощью команды ниже
bin/kafka-verifiable-producer.sh --topic u39 --max-messages 2000 --broker-list 10.******:9092
, теперь она создает тему u39 и отправляет 2000 сообщений вЭто.Теперь, если я запускаю потребителя в том же исходном кластере, я могу использовать сообщения, подтверждающие, что сообщения были созданы в исходном кластере
Теперь я перехожу к своему целевому кластеру и пытаюсь создать тему с тем же именем, т.е. u39это возвращает сообщение об ошибке, указывающее, что тема уже существует, которая подтверждает, что производитель зеркал реплицировал тему из исходного кластера в целевой кластер, но когда я пытаюсь использовать сообщения в целевом кластере с помощью следующей команды
bin/kafka-console-consumer.sh --zookeeper 10.200.14.117:2181 --topic u39 --from-beginning
Я не вижулюбые сообщения.Не уверен, что что-то не так, любая помощь / направление очень ценится.
Обновление 1 - я использую Kafka 1.0.0
Обновление 2 - оба кластера полностью изолированы, установка на AWS oneкластер на востоке-1, а другой на западе-2.Снова по отдельности я могу создавать и потреблять сообщения в обоих кластерах.