Kafka Producer ограничивает сообщения производителя 1024 байтами - PullRequest
Новая
       7

Kafka Producer ограничивает сообщения производителя 1024 байтами

1 голос
/ 29 марта 2020

Я пытаюсь создать сообщение кафки, используя терминал. Я скачал эту версию kafka_2.12-2.4.1.tgz. Я попытался запустить сервер Zookeeper, а затем сервер Kafka. У меня есть json, что больше, чем 1024 байта. Не разрешается отправлять более 1024 байтов.

Я пытался сослаться на Как я могу отправлять большие сообщения с Kafka (более 15 МБ)? . Но это не помогло. Не уверен, что мне не хватает какого-либо изменения конфигурации.

Конфигурация производителя 

max.request.size=2147483647 
socket.buffer.size=2147483647

Конфигурация сервера 

socket.request.max.bytes=2147483647
replica.fetch.max.bytes=2147483647
message.max.bytes=2147483647
max.message.bytes=2147483647
replica.fetch.max.bytes=2147483647

Consumer Config 

max.request.size=2147483647
fetch.message.max.bytes=2147483647
max.partition.fetch.bytes=2147483647

1 Ответ

1 голос
/ 30 марта 2020

Вы должны также увеличить max.partition.fetch.bytes параметр конфигурации потребителя для получения больших сообщений.

max.partition.fetch.bytes: Максимальная сумма данных на раздел сервер вернет. Записи извлекаются партиями потребителем. Если первая партия записей в первом непустом разделе выборки больше этого предела, партия все равно будет возвращена, чтобы гарантировать, что потребитель может добиться прогресса. Максимальный размер пакета записи, принимаемый брокером, определяется через message.max.bytes (конфигурация брокера) или max.message.bytes (topi c config). См. Fetch.max.bytes для ограничения размера запроса клиента.

...