Как сжать паркетный файл zstandard с помощью панд - PullRequest
1 голос
/ 28 октября 2019

Я использую pandas для преобразования кадров данных в файлы .parquet с помощью этой команды:

df.to_parquet(file_name, engine='pyarrow', compression='gzip')

Мне нужно использовать zstandard в качестве алгоритма сжатия, но вышеприведенная функция принимает только gzip, snappy и brotli. Я пытался Есть ли способ включить ZSTD в этой функции? Если нет, как я могу сделать это с другими пакетами? Я пробовал с zstandard , но, похоже, он принимает только объекты, похожие на байты.

...