Невозможно прочитать файл паркета

Question

Я сейчас ломаю голову над этим. Я новичок в этих parquet файлах, и у меня много проблем с ним.

Мне выдается сообщение об ошибке OSError: Passed non-file path: \datasets\proj\train\train.parquet каждый раз, когда я пытаюсь создать из него df.

Я пробовал это: pq.read_pandas(r'E:\datasets\proj\train\train.parquet').to_pandas() А ТАКЖЕ od = pd.read_parquet(r'E:\datasets\proj\train\train.parquet', engine='pyarrow')

Я также изменил букву диска, на котором находится набор данных, и это то же самое!

То же самое со всеми двигателями.

ПОЖАЛУЙСТА, ПОМОГИТЕ!

Answer 1

Это может быть проблема с обработкой пути к файлу в Arrow.Вместо этого вы можете передать уже открытый файл:

import pandas as pd

with open(r'E:\datasets\proj\train\train.parquet', 'rb') as f:
    df = pd.read_parquet(f, engine='pyarrow')