Как масштабировать Zookeeper с кафкой

Question

Я работаю над масштабированием кластера kafka в Prod. Confluent предоставляет простой способ добавления брокеров кафки. Тем не менее, как я знаю, как масштабировать Zookeeper вместе с Кафкой. Каким должно быть соотношение? Прямо сейчас у нас есть 5 узлов зоопарка для 5 брокеров кафки. Если у меня есть 10 брокеров кафки, сколько должно быть узлов zookeeper?

Answer 1

Zookeeper работает как служба координации для Apache Kafka, которая хранит метаданные кластера kafka. Кластер Zookeeper называется ансамблем.

Количество серверов в ансамбле zookeeper - нечетное число (3,5 и т. Д.). Эти числа показывают, насколько ваш кластер отказоустойчив. Ансамбль из трех узлов можно запустить, если один узел отсутствует.

С ансамблем из пяти узлов вы можете работать без двух узлов, и ваш кластер будет доступен.

Вы можете добавить столько серверов zookeeper, сколько вам нужно, чтобы система работала без сбоев, однако кластер ZooKeeper, состоящий из более чем 7 узлов, не рекомендуется использовать для устранения проблем, связанных с задержкой и избыточной связью между этими узлами.