кафка машин в кластере и кафка связи

Question

У нас есть кластер kafka с 3 узлами брокеров kafka и 3 серверами zookeepers

версия kafka - 10.1 (hortonworks)

, насколько я понимаю, поскольку все метаданные находятся на серверах zookeeper, иБрокеры kafka используют эти данные (kafka говорит с сервером zookeeper через порт 2181)

Мне просто интересно, если каждая машина kafka общается с другими kafka в кластере, или, возможно, kafka получает / помещает данные только в / изсерверы зоопарка?

Значит, доза службы кафки нужна для связи с другими кафками в кластере?Или, может быть, кафка машины получают все, что нужно только с сервера зоопарка?

Answer 1

Брокеры Kafka, безусловно, должны общаться друг с другом, что наиболее важно для репликации данных.Данные, полученные в Kafka, тиражируются между брокерами для обеспечения отказоустойчивости и надежности данных.Последователи разделов отправляют FetchRequest s лидерам разделов для репликации данных.

Кроме того, брокер Controller отправляет брокерам запрос LeaderAndIsr при смене лидера / последователя раздела - так он информирует брокеров.для начала ведения раздела или его репликации.

Я бы порекомендовал эти две вводные статьи, чтобы помочь вам получить больше контекста:

https://hackernoon.com/thorough-introduction-to-apache-kafka-6fbf2989bbc1

https://hackernoon.com/apache-kafkas-distributed-system-firefighter-the-controller-broker-1afca1eae302