Кафка (под которым я подразумеваю брокера) абсолютно не представляет, что такое «формат» чего-либо. Для брокера все в байтах.
Формат проводника Кафки также не имеет специального места для указания схемы кодирования - ни ключей, ни значений, ни схемы ключей, ни схемы разделения, ни чего-либо еще. Записи Kafka имеют заголовки, но, как и полезные данные, брокер на них не смотрит.
Формат полезной нагрузки (как для ключей, так и для значений) - это просто согласованное соглашение между производителями и потребителями. Некоторые производители и потребители могут быть настроены для работы с реестром схемы avro (например, со слиянием), но абсолютно ничто не мешает кому-то раскрутить производителя <byte[], byte[]> и отправить фотографию кошки такому топи c.
Также нет ничего, что говорит о том, что полезная нагрузка должна быть одного (polymorphi c) типа - вы можете делать все, что захотите, пока все ваши производители и потребители "договариваются" о том, как читать / записывать данные.