Как устанавливается размер размера записи для каждой записи в разделе kafka?

Question

Я хочу знать, занимает ли каждая запись в теме кафки один и тот же размер независимо от фактического размера сообщения?

Мне известно следующее свойство -> max.message.bytes=1000012, размер записи будет 1000012 байта.

Мой вопрос: если входящая запись меньше этих байтов, каков будет фактический размер пространства, выделенного для нее?

Answer 1

В Kafka брокер добавляет к диску в точности то, что отправил производитель.

Однако, как вы намекнули, производитель упаковывает сообщение в запись и пакет.

Полное описание этих структур данных можно найти в документации .

Кроме очень маленьких сообщений, дисковое пространство, занимаемое сообщением, зависит в основном от его размера, так как накладные расходы Kafka на сообщение составляютсравнительно небольшой.

Например, для одного сообщения длиной 10 байт без ключа или заголовков размер на диске составит 78 байт.Это может показаться большим объемом служебной информации, но, поскольку он почти постоянен независимо от размера сообщения, если бы полезная нагрузка составляла 1024 байта, общий объем занятого диска составил бы только 1094 байта.

Если принять во внимание пакетирование, тоиздержки уменьшаются еще больше, поскольку заголовок пакета (~ 50 байт) будет использоваться для нескольких записей.

Answer 2

Согласно Документы Kafka ,

max.message.bytes: Наибольший размер записи, разрешенный Kafka.Если это значение увеличивается, и есть потребители старше 0.10.2, размер выборки потребителей также должен быть увеличен, чтобы они могли получать записи такого большого размера.

Насколько я понимаю, выспрашивая, будет ли каждое сообщение резервировать пространство, равное max.message.bytes.

Ответ - нет.max.message.bytes определяет максимально допустимый размер сообщения, а не размер каждого сообщения.