Как обработать сбой senario для kafka и zookeeper в kubernetes - PullRequest
Новая
       41

Как обработать сбой senario для kafka и zookeeper в kubernetes

2 голосов
/ 16 марта 2020

Какие у меня есть настройки zookeeper, которые выполняются на сервере server1, server2 и server3, а также kafka также работает на сервере server1, server2 и server3.

Установка выполняется в kubernetes.

Постановка задачи:

  1. В случае выхода из строя одной установки zookeeper вся установка будет отключена, поскольку kafka зависит от zookeeper. я прав?

  2. Если Q1 правильный - есть ли способ выполнить настройку, например, если один сервер zookeeper выйдет из строя, тогда kafka должен работать как есть?

  3. Как выставить порт кафки в настройке kubernetes?

  4. Каков рекомендуемый способ сохранения данных в kubernetes для производственного сервера?

1 Ответ

1 голос
/ 17 марта 2020

Я не понимаю, как вопросы Zookeeper связаны с k8s ... Но вам определенно следует установить правила схожести, чтобы Zookeeper и Kafka не находились на одних и тех же физических серверах или не использовали одни и те же диски

Если один Zookeeper вышел из трех разрядов у вас закончится раздвоение мозга: ни один Zookeeper не знает, кто должен отвечать за лидерство. Это может привести к взлому sh или повреждению Kafka, да.

Чтобы уменьшить этот риск, вы можете запустить 5 Zookeepers, и в этом случае вы можете потерять до 3 серверов, чтобы достичь того же состояния. Подробное руководство охватывает эти концепции в первых нескольких главах

Что касается других вопросов - вообще говоря, NodePorts и PVCs.

Используйте один из популярных операторов Kafka на Github, и вы не будете нужно слишком тщательно подумать о настройке этих свойств

Вы все равно должны вручную выполнять задачи администратора Kafka при любой установке ... Вы можете использовать дополнительные сервисы, такие как Cruise Control, если хотите уменьшить эту рабочую нагрузку, хотя

...