OffsetIndex в паркете 1.11.0

Question

Начиная с паркета 1.10.0, паркет вводит две новые индексные структуры: ColumnIndex и OffsetIndex.Документ находится здесь https://github.com/apache/parquet-format/blob/master/PageIndex.md

Из документа я могу ясно понять идею ColumnIndex, которая указывает на страницы внутри каждого фрагмента столбца.Но я не совсем понимаю идею, лежащую в основе OffsetIndex.

Как сказано в документе, OffsetIndex используется для перехода к строкам, указанным в ColumnIndex.Но ColumnIndex указывает только на страницы, которые сжаты в целом.Тогда как можно использовать OffsetIndex для перехода, например, к одной строке внутри группы строк?

Answer 1

После прочтения документа здесь: https://docs.google.com/document/d/1sBACp8Lbutuj1Zxdowvsrlm8ku4BFxf8U_Do5K2wSO4/edit

В одном предложении один ColumnIndex хранит статистику всех страниц, принадлежащих одному столбцу, а точное смещение каждой страницы в ColumnChunk хранится в OffsetIndex..