Кафка не имеет представления о количестве полей. Это система обмена сообщениями на основе журнала, в которой каждое событие представляет собой запись, содержащую ключ, значение и метку времени.
В теме Kafka могут быть события с максимальным размером, определенным в конфигурации message.max.bytes. По умолчанию установлено значение 1 MB, что означает, что один размер события не может превышать 1 МБ. Но вы можете изменить значение по своему усмотрению и хранить столько данных, сколько хотите (содержащих 100 200 300 или около того).
P.S. Kafka не рекомендуется хранить большое сообщение (т. Е. 50 МБ).
Что касается формата сообщений, Avro довольно популярен среди других форматов данных, но это зависит от вашего делового использования. Avro компактен и поддерживает схему развития.
Вот несколько полезных моментов для сравнения форматов данных.
https://www.confluent.io/blog/avro-kafka-data/