Явно, как я могу заставить s3fs открыть файл gz в AWS?Клей / S3

Question

Используя AWS glue и AWS s3 и s3fs, я придумал следующее (среди других попыток).Я даже вижу примеры на https://s3fs.readthedocs.io/en/latest/, но они меня туда не доставляют.

key = 'https://s3.console.aws.amazon.com/s3/buckets/datalake-sbox-landing-55555-us-weast/cloudwatch_logs/prod-coarsair/dt%267D2019-09-11/144221-3837-462d-a2e6-ba300/coarsair-coarsair-144221-3837-462d-a2e6-ba300/000000.gz'
s3 = s3fs.S3FileSystem()
with s3.open(key, 'r') as f:
    args_gz_file = f

Тогда это будет так же просто, как набирать "args_gz_file" сейчас, верно?Нет.Куда я иду не так?!

Answer 1

Примеры показывают:

with fs.open('my-bucket/my-file.txt', 'rb') as f:

Это говорит о том, что первым параметром является BUCKET-NAME/KEY.

Однако в вашем примере кода вместо корзины отображается URL (https://s3.console.aws.amazon.com/s3/buckets/)name.

Возможно, попробуйте:

key = 'datalake-sbox-landing-55555-us-weast/cloudwatch_logs/prod-coarsair/dt%267D2019-09-11/144221-3837-462d-a2e6-ba300/coarsair-coarsair-144221-3837-462d-a2e6-ba300/000000.gz'

Примечание: Для доступа к Amazon S3 рекомендуется использовать официальный AWS SDK или интерфейс командной строки AWS, а неиспользуя s3fs.Amazon S3 - это сервис хранения объектов, а не файловая система.