Что такое сводный файл Parquet?

Question

На официальном сайте Apache это официальное объяснение этого параметра :

При значении true источник данных Parquet объединяет схемы, собранные из всех файлов данных, в противном случае схема выбирается из файла сводки или файла случайных данных, если файл сводки недоступен.

На самом деле, мой вопрос: что такое сводный файл ?

Answer 1

Формат хранения паркета - это столбчато-ориентированный формат файла, который означает, что данные для определенного столбца для всех строк будут храниться рядом друг с другом, что дает два основных преимущества - лучшую степень сжатия и повышенную производительность запросов.

Answer 2

Apache Parquet использует метаданные для хранения всей информации, необходимой для загрузки данных из файла, например метаданные столбцов, группы строк словарей и т. Д.

Формат предназначен для хранения этих метаданных в самом файле или в отдельном файле. Это файл summary.