Я пытаюсь определить ключевых актеров из мира Кафки, с максимально простыми определениями, чтобы иметь правильный обзор высокого уровня.
Надеюсь, что это поможет другим или поможет мне в случае, если я получучто-то не так, и кто-то говорит мне.
Контроллер Kafka
Серверная сторона
На уровне кластера Kafka
Он отвечает за управление состояниями разделов и реплик, а также за выполнение административных задач, таких как переназначение разделов.Например, Zookeeper используется для обнаружения сбоев брокера Kafka и передачи их брокеру контроллера Kafka для запуска восстановления баланса.
Лидер раздела Kafka
Сторона сервера
На уровне раздела
Каждый раздел в Кафке имеет одного лидера и 0-N последователей.Он обрабатывает все операции чтения / записи для определенного раздела.
Координатор группы
Сторона сервера
В группе потребителей
Брокер Kafka, который получает сердцебиение от всех потребителей в группе потребителей.Он может произвести перебалансировку, сообщив брокеру контроллера Kafka, как только исчезнет потребитель.
Брокер диспетчера смещений
Сторона сервера
На уровне группы потребителей
Сохраняет все смещения для данной группы потребителей.Здесь неясно, является ли этот брокер таким же, как брокер-координатор группы ...
Руководитель группы потребителей
Сторона клиента
Вуровень группы потребителей
Один из потребителей, которые помогают при назначении раздела.
Пожалуйста, дайте мне знать, если я написал что-то неверное.
Спасибо,
Кристи