Я новый человек на Apache Kafka.Когда я прохожу инструкции по быстрому запуску через http://kafka.apache.org/quickstart с последней версией kafka_2.12-2.2.0.У меня проблема, и я не могу ее решить самостоятельно.
Проблема в том, что на моем ноутбуке я создал 3 брокера для имитации кластерной ситуации.
Каждый брокер имеет собственное свойство серверафайл.Ниже я внес изменения для каждого файла свойств сервера и оставил другое значение по умолчанию таким, какое оно есть.
broker.id=1 (server2: broker.id=2; server3: broker.id=3)
listeners=PLAINTEXT://127.0.0.1:9092 (server2: 127.0.0.1:9023; server3: 127.0.0.1:9004)
log.dirs=/tmp/kafka-logs (server2: /tmp/kafka-logs-2; server3: /tmp/kafka-logs-3)
num.partitions=3 (for all servers)
offsets.topic.replication.factor=3 (for all servers)
После того, как я запустил ZK и этих 3 брокеров, я (могу) создать тему 'TestTopic' с 3 разделамина любом брокере
bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 3 --topic TestTopic
И затем я использую приведенную ниже команду для запуска 3 потребителей в одной группе 'rickygroup'.
// потребитель один
bin/kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 --from-beginning --topic TestTopic —group.id rickygroup —group.name rickygroup
// Потребитель два
bin/kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9093 --from-beginning --topic TestTopic —group.id rickygroup —group.name rickygroup
// Потребитель три
bin/kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9094 --from-beginning --topic TestTopic —group.id rickygroup —group.name rickygroup
Теперь я использую другой терминал для публикации некоторых сообщений в теме «TestTopic».Проблема в том, что все вышеперечисленные потребители получат все одинаковые сообщения.Насколько я понимаю, 3 потребителя должны потреблять все сообщения безразлично, а не одинаково.В противном случае, группа потребителей показывает повторное потребление вместо потребления баланса.
Есть ли у меня какое-то недопонимание относительно концепции группы потребителей?или что-то я тут не так сделал?