Открывайте файлы .Parquet из AWS S3 в AWS SageMaker (блокнот Jupyter)

Question

Когда я пытаюсь открыть файлы .parquet, которые есть в моем AWS S3, с помощью Jupyter Notebook, он говорит, что Jupyter не может открыть его, и это выдает мне ошибку. Мне интересно, если это несовместимо или есть обходной путь к нему?

Answer 1

что делать, если вы сначала поместите их на локальный диск? например, если вы хотите сделать все, начиная с jupyter (с pyarrow установленным )

1 первым, в ячейке уценки:

! aws s3 cp s3://mybucket/file.parquet /home/ec2-user/SageMaker/

2, затем в ячейке python в той же записной книжке:

import pyarrow.parquet as pq

data = pq.read_table('file.parquet').to_pandas()