Кафка - потребители / производители работают со всеми экземплярами Zookeper - PullRequest
Новая
       12

Кафка - потребители / производители работают со всеми экземплярами Zookeper

0 голосов
/ 25 сентября 2018

Я настроил кластер брокеров Kafka и кластер экземпляров Zk, используя архив распространения kafka_2.11-1.1.0.

Для брокеров Kafka я настроил config / server.properties 

broker.id=1,2,3
zookeeper.connect=box1:2181,box2:2181,box3:2181

Для экземпляров Zk я настроил config / zookeeper.properties: 

server.1=box1:2888:3888
server.2=box3:2888:3888
server.3=box3:2888:3888

Я создал базового производителя и базового потребителя, и я не знаю, почему я могуписать сообщения / читать сообщения, даже если я выключил все экземпляры Zookeeper и включил и запустил всех брокеров Kafka.Даже загружая новых потребителей, производители работают без проблем.

Я думал, что наличие кворума экземпляров Zk является жизненно важным моментом для кластера Kafka.

Как для потребителя, так и для производителя яиспользуется следующая конфигурация: 

bootrapServers=box1:9092,box2:9092,box3:9092

Спасибо

1 Ответ

0 голосов
/ 25 сентября 2018

Я думал, что наличие кворума экземпляров Zk является жизненно важной точкой для кластера Kafka.

Кворум Zookeeper является жизненно важным для управления списками разделов, лидерами и т. Д. В общем, ZK являетсянеобходимо для управления, которое осуществляется координатором кластера в кластере.

По сути, прямо сейчас (с выключенным ZK) вы не можете изменять темы (так как метаданные раздела хранятся в ZK), запускать / выключатьброкеры (поскольку они используют ZK для обнаружения) и другие подобные операции.

Даже загружая новых потребителей, производители работают без проблем.

Операции между производителями и потребителями охватываюттолько для брокеров.Экземпляр посредника все еще может добавляться в журнал и может взаимодействовать с другими посредниками для репликации.Таким образом, можно отправить сообщение, получить его, получить от брокера и сохранить на диск, с репликацией других брокеров (поскольку они постоянно отправляют запросы на выборку руководителю (и они знают, кто является лидером этого раздела, потому что они сохранили эти данные, когда ZK).был еще работает)).

...