В среде разработки у человека есть Java-приложение, и он видит тысячи открытых соединений.Но они слушают около 200 тем от одного потребителя.Это распространяется на 3 брокеров.
Локально я использовал Docker и Kafka Consumer с Java-приложением и создал 300 разделов по одной теме.Самое большее, он открыл 2 соединения.
Я также локально протестировал подписку на несколько тем (10) с примерно 3-300 разделами в каждой теме и заметил такое же количество соединений TCP, как и подписку на одну тему черезнесколько сотен разделов.Я думаю, потому что все они совместно используют один и тот же брокер на localhost, поэтому количество соединений было низким.
Мой вопрос: увеличилось бы число подключений к Kafka для потребителя, если бы у нас было приложение, прослушивающее парусто тем от одного потребителя?
Я знаю, что лучшими практиками Kafka является использование множества разделов вместо множества тем.Я предложил, чтобы у нас была одна тема с несколькими тысячами разделов, так как это лучшие практики Kafka, и в официальном разделе часто задаваемых вопросов Kafka рекомендуется больше разделов, а не больше тем.Был ответ на StackOverflow, который также рекомендует это: Могу ли я иметь сотни тысяч тем в Kafka Cluser?
Я пытаюсь доказать, почему полезно создавать множестворазделы вместо создания множества тем.Так что, если у кого-то есть опыт или опыт производства в реальной жизни, это тоже было бы хорошо.