Python: Получить количество строк для ParquetDataset?

Question

Как получить количество строк набора данных ParquetDatset, структурированного в виде папки, содержащей несколько файлов паркета.

Я попытался

from pyarrow.parquet import ParquetDataset
a = ParquetDataset(path)
a.metadata
a.schema
a.commmon_metadata

Я хочу выяснить, общее количество строк без чтения набора данных, поскольку оно может быть довольно большим.

Какой лучший способ сделать это?

Answer 1

Вам все равно придется прикасаться к каждому отдельному файлу, но, к счастью, Parquet сохраняет общее количество строк каждого файла в нижнем колонтитуле. Таким образом, вам нужно будет только прочитать метаданные каждого файла, чтобы выяснить его размер. Следующий код будет вычислять количество строк в ParquetDataset

nrows = 0
dataset = ParquetDataset(..)
for piece in dataset.pieces:
    nrows += piece.get_metadta().num_rows