Влияет ли брокер Кафка на размер сообщения 2 МБ

Question

У нас есть сценарий использования, в котором мы хотим выдавать данные на kafka с максимальным размером 2 МБ редко (то есть размер сообщений зависит от операций пользователя).

Будет ли какое-либо влияние на создание размера 2 МБ, или нам нужно разделить сообщение на небольшой фрагмент, такой как 100 КБ, и произвести.

Если мы произведем в маленький кусок, это увеличит время отклика для пользователя.Кроме того, мы проверили, выпустив 2 МБ сообщения для kafka, и мы не видим большой задержки там.

В любом случае, если мы разделим данные и произведем, это не повлияет на размер диска.Но снизится ли из-за этого производительность брокера?

Наша конфигурация брокера:

ОЗУ 125,6 ГБ Размер диска 2,9 ТБ Процессоры 40

Answer 1

Не вижу проблем с сообщениями размером до 2 МБ.Вам просто нужно настроить соответствующие параметры:

• Установить message.max.bytes и replica.fetch.max.bytes на стороне брокера (обратите внимание, что message.max.bytes <<code>replica.fetch.max.bytes).

• И max.partition.fetch.bytes на стороне потребителя

до не менее 2 МБ