Размер полезной нагрузки переменной события Кафки

Question

Я пытаюсь определить оптимальный размер события, чтобы произвести его в Кафку.У меня могут быть события размером от 1 КБ до 20 КБ, и я задаюсь вопросом, будет ли это проблемой.

Возможно, я мог бы внести некоторые изменения производителя, чтобы сделать их все примерно одинакового размера, скажем, 1 КБ-3 КБ.Будет ли это преимуществом или у Kafka не возникнет проблем с переменным размером события?

Существует ли оптимальный размер события для Kafka или это зависит от настроенных параметров сегмента?

Спасибо.

Answer 1

По умолчанию Kafka поддерживает до 1 МБ сообщений, , и это можно изменить, чтобы увеличить , конечно, жертвуя сетевым вводом-выводом и задержкой в ​​результате увеличения его.

Это, как говорится, я не думаю, что это действительно имеет значение, если сообщения имеют постоянный размер или нет для размеров данных, о которых вы говорите.

Если вы действительно хотите сжать свои полезные нагрузки, вы можете изучить различные платформы сериализации и алгоритмы сжатия , предлагаемые в Kafka API.