2 кластера серверов zookeper в кластере hadoop + kafka - это возможно?

Question

У нас есть кластер Kafka со следующими сведениями

3 машины kafka

3 сервера zookeeper

У нас также есть кластер Hadoop, который включает в себя машины с датоданными И все приложения используютсерверы zookeeper, включая машины kafka

сейчас

Мы хотим внести следующие изменения

Мы хотим добавить еще 3 сервера zookeeper, которые будут находиться в отдельном кластере

И только эта машина kafka будет использовать этот дополнительный сервер zookeeper

Возможно ли это?

Answer 1

Да, это возможно.Kafka использует Zookeeper для выполнения различных задач распределенной координации, таких как определение, какой брокер Kafka отвечает за распределение лидеров разделов, и сохранение метаданных по темам в брокере.

После закрытия kafka исходные данные кластера zookeeper будут скопированыв новый кластер с использованием инструментов, это утилита передачи данных кластера zookeeper zkcopy

Но если ваш кластер Kafka не перестал работать, вам следует подумать о передаче данных Zookeeper на дополнительные серверы zookeeper.

Answer 2

Редактирование ha.zookeeper.quorum в конфигурациях Hadoop отдельно от zookeeper.connect в конфигурациях Kafka таким образом, что у вас есть два отдельных кластера Zookeeper, можно получить, да.

Однако я не думаю, что Ambari или Cloudera Manager, например, позволяют вам просматривать или настраивать более одного кластера Zookeeper одновременно.