сколько серверов zookeper нам нужно для поддержки 18 машин кафки - PullRequest
0 голосов
/ 04 декабря 2018

6 машин kafka (это физические машины - DELL HW)

3 сервера zookeeper

мы хотим добавить 12 машин kafka в кластер

в этом случае каксколько зоокейперов на сервере должно быть?

для поддержки 18 машин кафки?

1 Ответ

0 голосов
/ 04 декабря 2018

Ну, ваш вопрос был помечен Hadoop, но только для Кафки 3 будет "работать", но 5-7 "лучше".

Но , это должно быть выделенных серверов Zookeeper для Kafka и не совместно используемых с сервисами Hadoop, такими как namenode, Hive, HBase и т. Д. Особенно на уровне 30+ серверов Hadoop.Это связано с тем, что Zookeeper зависит от времени ожидания и требует много памяти для обработки процессов такого типа

Это можно легко сделать в Ambari с определенными конфигами сервера, но не позволяя Ambari использовать свои шаблоны для заполнения единственного кворума Zookeeper, который он отслеживает (что довольно сложно найти в каждой службе, чего на самом деле не стоитвообще использую Ambari для конфигов, а точнее Puppet или Ansible и т. д., но я отвлекся)

Имейте в виду, ваш кластер будет на 1/3 полностью несбалансированным, и добавление брокеров не будет перемещать существующие данные или вызывать репликиполучить назначение новым брокерам по существующим темам

...