Я хотел понять, имея большое количество потребителей по задержке производителей и брокеров. У меня около 7 тысяч независимых потребителей. Каждый потребитель потребляет все разделы темы. Я вручную назначил разделы темы потребителю, не используя группы потребителей. Каждый потребитель потребляет сообщения только одной темы. Размер сообщения не превышает КБ. Производительность также низкая. Но когда произойдет всплеск, тогда произойдет задержка (здесь ack = 1). Ресурс брокеров тоже очень низкий. Я хочу понять влияние большого количества потребителей на Кафку.
Детали кластера:
Broker#: 13 (1 Broker : 14 cores & 36GB memory )
Kafka cluster version: 2.0.0
Kafka Java client version: 2.0.0
Number topics: ~15.
Number of consumers: 7K (all independent and manually assigned all partitions of a topic to a consumers. One consumer is consuming all partitions from a topic only)