несколько кластеров кафки в одном ансамбле зоопарка

Question

В настоящее время у меня есть кластер Kafka из 3 узлов, который подключается к основному пути chroot в моем ансамбле zookeeper.

zookeeper.connect=172.12.32.123:2181,172.11.43.211:2181,172.18.32.131:2181

Теперь я хочу добавить новый кластер Kafka из 5 узлов, который будет подключаться к некоторому другому chrootпуть в том же ансамбле zookeeper.

zookeeper.connect=172.12.32.123:2181,172.11.43.211:2181,172.18.32.131:2181/cluster/2

Будут ли эти конфигурации работать так же, как в относительных путях для двух chroot? Я понимаю, что исходный кластер Kafka должен был быть подключен по некоторому пути, отличному от базового пути chroot, для лучшей изоляции.

Кроме того, хорошо ли иметь один и тот же ансамбль zookeeper в кластерах Kafka? Документация гласит, что, как правило, лучше иметь отдельные ансамбли зоокейперов для разных кластеров.

Answer 1

Если вы ограничены только одним кластером Zookeeper, то он должен работать нормально с уникальным chroot, который не вступает в конфликт с znodes другого кластера.

Это не "хорошо" делиться, нет, поскольку потеря Zookeeper приводит к отключению двух кластеров, но, опять же, если вы ограничены в аппаратном обеспечении, он все равно будет работать

Примечание: вы можете позволить себе потерять только один ZK-сервер с 3 узламив кластере, поэтому рекомендуется кластер из 5