Настройка кластера Kafka

Question

Я новичок в технологии Кафки.Я настроил базовый кластер с одним узлом, используя Ambari.

Я хочу понять, какова рекомендуемая конфигурация для производственного сервера.Допустим, в производстве у меня будет 5 тем, каждая из которых получает трафик в диапазоне от 500 000 до 50 000 000 в день.

Я думаю о настройке кластера kafka из 3-4 узлов с использованием экземпляров EC2 r5.xlarge.

Меня больше всего не устраивает часть зоопарка.Я понимаю, что zookeeper нужно нечетное количество узлов, и zookeeper устанавливается на все узлы kafka, тогда как мне запустить Kafka с четным числом узлов.Если это так, то Kafka также ограничит нечетное количество узлов.

Действительно ли необходимо установить Zookeeper на все узлы Kafka.Могу ли я установить Zookeeper на отдельных узлах и брокеры Kafka на отдельных узлах, как?

Что если я хочу запустить несколько кластеров Kafka.Можно ли управлять несколькими кластерами Kafka через один кластер Zookeeper, как это возможно?

Я только недавно начал изучать Kafka, любая помощь будет признательна.

Спасибо,

Answer 1

Меня больше всего не устраивает часть зоопарка.Я понимаю, что zookeeper нужно нечетное количество узлов, и zookeeper устанавливается на все узлы kafka, тогда как мне запустить Kafka с четным числом узлов.Если это так, то Kafka также ограничит нечетное количество узлов.

Zookeeper может, но не должен быть установлен на тех же серверах, что и kafka.Не обязательно запускать zookeeper на нечетном количестве узлов, просто очень хорошая рекомендация

Действительно ли необходимо установить Zookeeper на все узлы Kafka.Могу ли я установить Zookeeper на отдельных узлах и брокеры Kafka на отдельных узлах, как?

Это не требуется, и еще лучше не иметь Zookeeper и kafka на одном сервере.Установка zookeeper на другом сервере очень похожа на установку на том же сервере.У каждого брокера kafka должен быть параметр zookeeper.connect, указывающий на все узлы zookeeper.

Что делать, если я хочу запустить несколько кластеров Kafka.Можно ли управлять несколькими кластерами Kafka через один кластер Zookeeper, как это возможно?

Это возможно.В этом случае рекомендуется иметь серверы, предназначенные только для ансамбля zookeeper.В этом случае в настройках zookeeper.connect вы должны использовать имя хоста: порт / путь, а не просто имя хоста: порт.

Answer 2

Могу ли я установить Zookeeper на отдельных узлах и брокеры Kafka на отдельных узлах, как?

Можно, и нужно, если у вас есть доступные ресурсы.

---

Запустите zookeeper-server-start zookeeper.properties на нечетном количестве серверов.(максимум 5 или 7 для более крупных кластеров Kafka)

На каждой другой машине, являющейся брокером Kafka, а не на тех же серверах, что и Zookeeper, отредактируйте server.properties, чтобы указать этот набор адресов компьютеров Zookeeper для zookeeeper.connect имущество.

Затем выполните kafka-server-start server.properties для каждого нового брокера Kafka.

Оттуда вы можете масштабировать Kafka независимо от Zookeeper

Можно ли управлять несколькими кластерами Kafka с помощью одного кластера Zookeeper

Посмотреть chroot Zookeeper

Один кластер Kafka будет определен как

zoo1:2181/kafka1

А второй

zoo1:2181/kafka2

будьте осторожны, чтобы не перепутать их, если машины не должны быть в одном и том жеКластер Kafka

---

Вы можете найти различные репозитории CloudFormation, Terraform или Ansible для настройки Kafka в облаке на Github или перейти к Kubernetes, если вы знакомы с ним.