Как я могу прочитать базу данных в S3 с паркетными сжатыми данными в Sagemaker? - PullRequest
Новая
       41

Как я могу прочитать базу данных в S3 с паркетными сжатыми данными в Sagemaker?

0 голосов
/ 30 апреля 2020

Формат ввода клея org.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormat. Я могу запросить таблицы с Афиной, но не с Sagemaker. Я хочу прочитать его в Sagemaker в Python или R. Я вижу имя базы данных 'allData' и имя таблицы 'sites' с местоположением s3://allData/cities со сжатием SNAPPY для паркета. 

import boto3

s3 = boto3.resource('s3')
#bucket = s3.Bucket('allData/cities')
#bucket = s3.Bucket('cities')
#bucket = s3.Bucket('allData.cities')
bucket = s3.Bucket('s3://allData/cities')

if bucket.creation_date:
   print("The bucket exists")
else:
   print("The bucket does not exist")


#Printing "The bucket dos not exist".

s3.buckets.all()
#for bucket in s3.buckets.all():
#    print(bucket.name)
#An error occurred (AccessDenied) when calling the ListBuckets operation: Access Denied

Как я могу прочитать сжатые данные паркета SNAPPY в фрейм данных в Sagemaker?

...