Магазин Kafka хранит метаданные?

Question

Хранит ли брокер Kafka метаданные, которые использует API производителя (например, какие разделы являются лидерами по теме и т. Д.)?Насколько я понимаю, эти метаданные хранятся в Zookeeper, это правильно?Если это правда, то как Zookeeper обновляет брокеров самой последней информацией?

Answer 1

Все брокеры Kafka могут ответить на запрос метаданных, который описывает текущее состояние кластера: какие существуют темы, какие разделы имеют эти темы, какой брокер является лидером для этих разделов и т. Д.

ZooKeeper несет ответственностьдля:

• Выбор брокера контроллера - и проверка наличия только одного
• Членство в кластере - разрешение брокерам присоединиться к кластеру
• Конфигурация темы - какие темы существуютсколько разделов имеет каждый, где находятся реплики, кто является предпочтительным лидером, какие переопределения конфигурации установлены для каждой темы
• Квоты - сколько данных каждому клиенту разрешено читать и записывать
• ACL - кому разрешено читать и писать в какую тему

Между Кафкой и ZooKeeper существует регулярная связь, так что ZooKeeper знает, что брокер Kafka все еще жив (механизм биения ZooKeeper), а также в ответ натакие события, как создаваемая тема или выпадение репликиc для темы-раздела.

Answer 2

Kafka - это распределенная система, созданная для использования Zookeeper, который отвечает за выбор контроллера, настройку темы, кластеризацию и т. Д.

Точнее, Zookeeper инициирует выбор контроллера. Контроллер-брокер - это единственный брокер в кластере Kafka, который заботится о лидере-брокере и подписчиках для каждого раздела. Когда конкретный брокер отключается, контроллер сообщает другим репликам (для обработки лидеров разделов и т. Д.). Более того, когда контроллер выходит из строя, Zookeeper инициирует новые выборы, чтобы выбрать нового брокера, который будет выполнять функции контроллера.

Кроме того, Zookeeper знает, какие брокеры являются частью кластера Kafka, а какие еще живы. Точно так же он также осведомлен о специфической для темы информации, такой как, какие темы существуют, сколько разделов у каждого есть, где реплики и так далее.

Zookeeper также хранит информацию, касающуюся квот и ACL-списков, то есть, какой объем данных каждому клиенту разрешен для потребителя / производителя и кому разрешено для потребителя или продукта по определенной теме.