Может ли одна потребительская нить против множества разделов на тему в Kafka вызвать задержку?

Question

Наша настройка kafka выглядит следующим образом:

1. 30 разделов на тему
2. 1 потребительский поток

мы настроили этот способ, чтобы иметь возможность масштабированияв будущем.

мы хотели свести к минимуму время, когда мы перебалансировали, когда нам нужно увеличить масштаб, добавив разделы, потому что задержка очень важна для нас, и во время перебалансировки сообщения могут зависать до завершения фазы координации

Наличие 1 пользовательского потока с несколькими разделами на 1 тему может как-то повлиять на общую задержку при передаче сообщений?

Answer 1

Чем больше разделов в кластере Kafka, тем выше пропускная способность, однако следует помнить, что количество разделов также влияет на доступность и задержку.

Вообще больше разделов,

• Привести к более высокой пропускной способности
• Требуется больше дескрипторов открытых файлов
• Может увеличить недоступность
• Может увеличить сквозную задержку
• Может потребоваться больше памяти в клиенте

Вам необходимо изучить компромиссы и убедиться, что вы выбрали количество разделов, которое удовлетворяет вашим требованиям в отношении пропускной способности, задержки и требуемых ресурсов.

Для получения дополнительной информации см. это сообщение в блоге от Confluent.

Мое мнение: Проведите несколько тестов и запишите свои выводы. Например, попробуйте запустить одного потребителя по теме с 5, 10, 15, ... разделами, измерить влияние и выбрать конфигурацию, соответствующую вашим требованиям. Наконец, спросите себя, понадобятся ли вам когда-либо x разделы. В конце концов, если вам нужно больше разделов, вам не нужно беспокоиться о перебалансировке и т. Д. Kafka была разработана для масштабирования.