Как добавить данные всех файлов Parquet из папки корзины s3 в один фрейм данных в python - PullRequest
0 голосов
/ 25 сентября 2019

В моей папке около 10 файлов с одинаковыми именами столбцов.Я хочу добавить все 10 файлов данных паркета в один фрейм данных.Я использовал код ниже, но в dataframe есть данные только первых файлов.

s3 = s3fs.S3FileSystem()
complete_path="s3://s3bucket/folder_path
df=pq.ParquetDataset(complete_path,filesystem=s3).read_pandas().
           to_pandas()

Может кто-нибудь, пожалуйста, помогите мне.

...