чтение выбранной колонки из файла паркета AWS S3 - PullRequest
0 голосов
/ 17 января 2020

Я читаю паркетные файлы / объекты из AWS S3, используя boto3 SDK. у объекта parquet может быть много полей (столбцов), которые мне не нужно читать. Предположим, что объект parquet имеет 10 полей

A B C D E F G H I J

Есть ли способ читать, просто получить только столбцы AE и H. В настоящее время я читаю объект parquet, используя s3client, как показано ниже.

obj = s3client.get_object(Bucket=bucket, Key=key)
pd.read_parquet(io.BytesIO(obj['Body'].read()), **args)

Спасибо

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...