Кафка уменьшить отставание для потребителя

Question

Я настраиваю новый кластер Kafka и для целей тестирования я создал тему с 1 разделом и 3 репликами.

Теперь я запускаю сообщения через производителя параллельно, скажем, 50K сообщений в секунду. И я создал одного потребителя внутри группы, и он может получать только 30 тыс. Сообщений в секунду.

Я могу изменить уровень темы, уровень раздела, настройки на уровне потребителя.

Я отслеживаю все через графану + прометей.

Любая идея, какая конфигурация или что-то еще может помочь мне потреблять больше данных ??

Заранее спасибо

Answer 1

Потребитель Kafka опрашивает брокера на наличие сообщений и выбирает все сообщения, доступные для потребления, в зависимости от используемой конфигурации потребителя.В целом, эффективнее передавать как можно больше данных за один запрос, если целью является увеличение пропускной способности.Но сколько данных передается в одном опросе, определяется размером сообщений, количеством записей и некоторыми параметрами, которые определяют, сколько времени ждать, пока сообщения будут доступны.

В общем, вы можете влиять на пропускную способность.используя одну или несколько из следующих пользовательских конфигураций :

fetch.min.bytes

max.partition.fetch.bytes

fetch.max.bytes

max.poll.records

fetch.max.wait.ms