Я использую spring-cloud-stream и мне нужно параллельное чтение из Kafka Topi c.
Topi c имеет 16 разделов, и я установил параллелизм потребителя на 16 (16 на экземпляр. У меня есть всего 2 экземпляра приложения-потребителя, развернутые на PCF), а также проверенные сообщения отправляются на все 16 разделов.
Но на стороне потребителя я вижу, что работают только 8 одновременных потребителей (по 4 на экземпляр), и поэтому каждое чтение потока потребителя из 2 разных разделов.
Почему это происходит? Я ожидаю, что в общей сложности 16 потребителей по одному на каждый раздел. Я хочу, чтобы больше параллелизма увеличило пропускную способность (если общее количество потоков составило бы 16 одновременных, что удвоит пропускную способность)