Должен ли файл-формат паркета ВСЕГДА иметь в нем сохраненную схему (с типами данных) и заголовок?

Question

При сохранении данных в формате файла Parquet - ДОЛЖНА ли схема с типами данных также сохраняться в формате файла Parquet? (или может быть пропущен)

Кроме того, нужно ли также сохранять заголовок? (или можно пропустить)

Спасибо.

Answer 1

Вам всегда понадобится схема для файла Parquet, так как они двоичные и без схемы не могут быть десериализованы читателем.

Не то, чтобы у Parquet действительно был верхний и нижний колонтитулы. Все метаданные (включая схему) сохраняются в конце файла. См. Следующее изображение для структуры файла паркета:

Источник: https://parquet.apache.org/documentation/latest/