Загрузка Pandas данных в S3 с передачей s3_additional_kwargs - PullRequest
0 голосов
/ 13 февраля 2020

Прошу прощения за мое незнание / недостаток знаний в этой области!

Я хочу загрузить кадр данных на S3, но мне нужно передать ACL: «ведущий-владелец-полный контроль» ,

import pandas as pd
import s3fs

fs = s3fs.S3FileSystem(anon=False, s3_additional_kwargs={'ACL': 'bucket-owner-full-control'})
df = pd.DataFrame()
df['test'] = [1,2,3]
df.head()

df.to_parquet('s3://path/to/file/df.parquet', compression='gzip')

Мне удалось обойти это, загрузив это в таблицу Pyarrow и загрузив, как:

import pyarrow.parquet as pq

table = pa.Table.from_pandas(df)

pq.write_to_dataset(table=table, 
                    root_path='s3://path/to/file/',
                    filesystem=fs) 

Но это кажется хакерским, и я чувствую, что должен быть способ передать ACL в первом примере.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...