Как установить максимальный размер сообщения Kafka с помощью librdkafka

Question

Я пытаюсь использовать Кафку для отправки сообщения ~ 10 Мб. Я знаю, что его размер по умолчанию составляет 1 МБ, но это жесткий предел? Может ли librdkafka поддерживать> 10Mb и как мне это установить?

Answer 1

Вам необходимо настроить topi c max.message.bytes (см. https://kafka.apache.org/22/documentation.html#topicconfigs) и настроить производителя на message.max.bytes (см. https://github.com/edenhill/librdkafka/blob/master/CONFIGURATION.md). Пожалуйста, выделите дополнительное пространство (не менее ~ 500 байт) для служебных данных протокола.