Мы столкнулись с проблемой при работе с потребителем Kafka (Java). Опрос возвращает меньше сообщений, когда сообщения больше. Мы пытались увеличить различные параметры конфигурации при конструировании потребителя, например fetch.min.bytes, fetch.max.bytes, max.partition.fetch.bytes и fetch.max.wait.ms, но результат остается тем же. (5-8 сообщений)
Мы обнаружили, что размер сообщений в одном опросе составляет примерно 10 КБ. Это было найдено, когда мы попытались получить сумму длины в байтах (message.value().getBytes().length) ConsumerRecords, возвращенных при опросе.