Если формат пера по-прежнему актуален или сообщество склоняется к другим форматам файлов для хранения больших файлов? - PullRequest
1 голос
/ 06 ноября 2019

Я изучаю опции формата хранения файлов для Python и наткнулся на перо. Я заметил, что последний выпуск был еще в 2017 году и был обеспокоен его долгосрочным существованием.

Поиски в Интернете отбрасывают сообщения, которые, похоже, прекращаются в 2017 году.

1 Ответ

1 голос
/ 08 ноября 2019

Формат пера по-прежнему актуален, и поддержка большего количества типов данных, особенно на стороне R, в последнее время значительно улучшилась. Замечательным изменением является то, что он больше не выпускается в виде отдельного пакета, а входит в состав arrow / https://arrow.apache.org/. Там он активно развивается.

Другой альтернативный формат, которым руководит сообществоПо направлению это Apache Parquet. Между пером и паркетом есть некоторые различия, так что вы можете выбрать одно из другого, например, Перо записывает данные как есть, а Паркет кодирует и сжимает их для получения файлов меньшего размера. Кроме того, паркет также доступен в мире Java, что может пригодиться. Feather и Parquet доступны в R в библиотеке arrow и в Python как часть pyarrow.

...