Как добавить еще двух брокеров kafka на локальный компьютер, если мой текущий запущенный брокер kafka уже имеет данные

Question

У меня есть один брокер, работающий на моей локальной машине с ОС Windows, в котором есть 2-3 темы с сообщениями.Я хочу увеличить свою машину, добавив еще два экземпляра брокера.Я выполнил все шаги по настройке 3-х посредников на той же машине , создав другой файл свойств.

Мой broker=0 завершает работу при запуске сервера broker=1 с ошибкой ниже.

[2019-07-11 13: 56: 33,580] ИНФОРМАЦИЯ О прекращении обслуживания журналов в каталоге C: \ kafka_2.12-2.2.1 \ data \ kafka (kafka.log.LogManager) [2019-07-11 13: 56: 33,585] ОШИБКА Завершение работы брокера, поскольку все каталоги журналов в C: \ kafka_2.12-2.2.1 \ data \ kafka завершились ошибкой (kafka.log.LogManager)

Можно ли добавить больше брокеров, если у моего существующего экземпляра брокера есть данные.Или мне нужно удалить каталог данных и заново запустить брокер 0. Есть ли возможность сохранить данные, не удаляя их с сервера kafka.

Answer 1

Чтобы запустить несколько брокеров на одном физическом компьютере, каждому брокеру в конфигурации необходимо указать уникальный broker.id , различные log.dirs и порты в * слушатели 1006 *.

Например,

config/server{1,2,3}.properties

Разница в каждом наборе настроек

broker.id=<id>
log.dirs=/data/kafka<id>
listeners=PLAINTEXT://localhost:909<id>

Когда все три брокера запускаются, новые темы будут создаваться равномерно по всему кластеру, но старые должны быть перебалансированы.

Answer 2

Да, вы можете добавить брокеров в свой кластер и перенести / распределить данные по всем вашим брокерам.

В разделе Расширение вашего кластера в документации подробно описаны шаги для достижения этого.

После запуска новых брокеров вам, в основном, нужно использовать инструмент bin/kafka-reassign-partitions.sh (существуют и другие сторонние инструменты) для перемещения данных на них.

Обратите внимание, что добавление брокеров на одном компьютерене обеспечивает большую устойчивость, как если бы машина должна была выйти из строя, это затронуло бы всех брокеров.Но если вы хотите просто поиграть и узнать о Кафке, это может быть хорошо.