Как сделать перебалансировку данных на кафке, если данные хранятся постоянно

Question

Я новичок в kafka и готовлю его к работе.

Какие стратегии можно использовать для перебалансировки хранилища данных, если у посредников для текущих разделов темы не хватает места на диске, если больше посредников может бытьдобавлен в кластер?

В качестве простого примера, скажем, тема имеет 3 раздела в начале (1 реплика для упрощения задачи), и каждый по 3 брокера хранит 1 раздел темы, и каждый из этих разделов занимает1 ТБ дискового пространства.

Как я могу добавить еще 3 новых сервера-брокера и изменить количество разделов темы на 6, и в результате результат перебалансировки данных каждого из 6 разделов занимает 500 ГБ дискового пространства на его брокере?

Я думаю, что эта проблема критически важна для постоянного хранения большого количества данных в кластере kafka.

Спасибо.

Answer 1

Кроме того, имейте в виду, что после создания тем будут определены реплики и ISR.По возможности старайтесь выбирать коэффициент репликации 3 для устойчивости и долговечности.Наличие коэффициента репликации 2 в кластере с 3 узлами бесполезно в определенных ситуациях, когда один (из 3) брокеров выходит из строя, тогда ни один из доступных или онлайн-брокеров не присоединится к набору реплик (чтобы удовлетворить репликацию).фактор) и двигаться в ISR.В такой ситуации вы получите ISR, который будет неполным и хуже, и в результате вы получите единственную точку отказа.

Обратите внимание, что брокер не работает, если отличается от расширения или сжатия кластера Kafka.

Answer 2

kafka-reassign-partitions & kafka-preferred-replica-election - это встроенные команды для выполнения таких задач перемещения, поскольку Kafka не выполняет это автоматически при расширении кластера.

Существуют альтернативные решения, такие как Confluent и DataDog .

Как добавить еще 3 новых сервера брокера

См. Документы - Расширение вашего кластера

изменить размер раздела темы на 6

Использовать kafka-topics --alterи увеличить разделы (примечание: это не перемещает существующие данные в новые разделы или, другими словами, «переназначает» тему)