pyarrow ParquetDataset дает pyarrow.lib.ArrowIOError - PullRequest
0 голосов
/ 29 мая 2020

У меня есть паркетный файл в c: \ somefolder, он разделен следующим образом

source=src1
 org_id=827
    institution_id=default
       contract_id=fd614db3
           part-00000-ac57b966-2319-409e-b8a8-a23b708e4964.c000.snappy.parquet

Я читаю с помощью pyarrow на windows. Я получаю такую ​​ошибку

    File "pyarrow\io.pxi", line 836, in pyarrow.lib.OSFile._open_readable
      File "pyarrow\error.pxi", line 80, in pyarrow.lib.check_status

: Failed to open local file 'C:/somefolder/source=src1/org_id=827/institution_id=default/contract_id=fd614db3/part-00000-ac57b966-2319-409e-b8a8-a23b708e4964.c000.snappy.parquet', error: The system cannot find the path specified.

Мой код:

import pyarrow.parquet as pq
dataset = pq.ParquetDataset("c:\\somefolder")
...