Доступно ли использование предиката для сжатых файлов Parquet? - PullRequest
0 голосов
/ 02 июня 2018

В Spark 2.2 доступно ли сжатие предикатов для сжатых файлов Parquet (например, GZIP, Snappy)?

1 Ответ

0 голосов
/ 02 июня 2018

Да, предикатное нажатие работает на всех файлах Parquet.Важной частью здесь является то, что сжатие в контексте Parquet означает, что данные сжимаются, но части метаданных файла не сжимаются, а всегда хранятся в виде обычного файла.Это позволяет любому процессору, работающему над файлами Parquet, читать статистику каждого куска в файле и затем загружать только соответствующие его части.

...