Кафка: Наше количество разделов безумно?

Question

У нас есть 3-х хостовый кластер Kafka. У нас есть 136 тем, каждая из которых имеет 100 разделов с коэффициентом репликации 3. Это составляет 13 600 разделов в нашем кластере.
Это нормальная конфигурация наших тем?

Answer 1

Это слишком много. Вы должны спросить себя, есть ли у вас (или планируете ли вы в ближайшее время) достаточное количество пользовательских экземпляров для такого количества разделов. Затем, если вы планируете иметь 13 тыс. Пользовательских экземпляров, на каком оборудовании вы работаете с этими брокерами, чтобы они могли обслуживать такое количество потребителей? Это еще до того, как вы рассмотрите дополнительное влияние многих разделов до 1.1 https://www.confluent.io/blog/how-to-choose-the-number-of-topicspartitions-in-a-kafka-cluster/

Это мне кажется, что 100 было круглым числом и казалось будущим доказательством. Я бы посоветовал начать с гораздо меньшего числа по теме (например, 2 или 10) и посмотреть, действительно ли вы столкнулись с проблемами масштабирования, которые требуют большего количества разделов, прежде чем пытаться перейти в экспертный режим. Вы всегда можете добавить больше разделов позже.

Answer 2

Краткий ответ на ваш вопрос: 'Это зависит' . Чем больше разделов в кластере Kafka, тем выше пропускная способность, однако следует помнить, что количество разделов влияет на доступность и задержку.

Вообще больше разделов,

• ведет к повышению пропускной способности
• Требуется больше дескрипторов открытых файлов
• Может увеличить недоступность
• Может увеличить сквозную задержку
• Может потребоваться больше памяти в клиенте

Вам необходимо изучить компромиссы и убедиться, что вы выбрали количество разделов, которое удовлетворяет вашим требованиям в отношении пропускной способности, задержки и требуемых ресурсов.

Для получения дополнительной информации см. это сообщение в блоге от Confluent.