сколько групп потребителей может обрабатывать тема кафки?

Question

предположим, у меня есть тема kafka, скажем, о 10 разделах, я понимаю, что в каждой группе потребителей должно быть 10 потребителей, читающих эту тему в любой момент времени для достижения максимального паралеллизма.

Однако я хотел знатьесли есть какое-либо прямое правило также для количества групп потребителей, которые тема может обработать в любой данный момент времени.(Меня недавно спросили об этом в интервью).Насколько я знаю, это зависит от конфигурации брокера, чтобы определить, сколько соединений он может обрабатывать в любой данный момент времени.

Однако просто хотелось узнать, сколько максимальных групп потребителей (каждаяс 10 потребителями) можно масштабировать в данный момент времени?

Answer 1

В Kafka нет явного ограничения на количество групп потребителей, которые могут быть созданы для конкретной темы.Однако вы должны знать, что чем больше групп потребителей, тем больше влияние на использование сети.

Answer 2

Conceptually you can think of a consumer group as being a single logical subscriber
that happens to be made up of multiple processes. As a multi-subscriber system,
**Kafka naturally supports having any number of consumer groups for a given topic**
without duplicating data (additional consumers are actually quite cheap).

Как указано в документации API для Kafka 0.9, Kafka может поддерживать любое количество групп потребителей для данной темы.

Ссылка: http://kafka.apache.org/090/javadoc/index.html?org/apache/kafka/clients/consumer/KafkaConsumer.html