Раздел - это шардинг для темы. И каждый раздел будет записан в отдельный файл, в том же каталоге содержится название темы. Запись или чтение в файл является последовательным, то есть способ, которым раздел поддерживает свой порядок.
Хранит ли он их так, как получил от производителя?
Да, как только сообщение получено, оно будет записано в его буфер, очень похожий на записи в некоторых реляционных базах данных для записи в журнал. Кафка использует кеш страниц операционной системы в качестве буфера для получения высокой производительности чтения и записи. Периодически зависит от конфигурации Кафка записывает данные в файл.