Как читать и писать файлы паркета, используя Python версии 2.7 или менее

Question

Я хотел прочитать -> обновить -> написать файлы паркета, используя версию Python 2.7 или менее.сталкивается с проблемой, связанной с пакетами.пожалуйста, дайте мне знать правильный способ сделать то же самое.

Answer 1

Вы можете использовать pyarrow для чтения файлов Parquet с Python 2.7, см. https://arrow.apache.org/docs/python/parquet.html Обратите внимание, что для Windows нет доступных колес Python 2.7. Вам нужно либо использовать conda там, либо перейти на Linux / OSX.

Чтение файлов паркета:

import pyarrow.parquet as pq
table = pq.read_table("file.parquet")
# Optionally convert to Pandas DataFrame
df = table.to_pandas()

Запись файлов для паркета:

import pyarrow as pa
import pyarrow.parquet as pq

# If your input data is a Pandas DataFrame, we need to convert it to an Arrow table first.
table = pa.Table.from_pandas(df)
pq.write_table(table, "filename.parquet")