Подсчет объектов в отдельных папках S3 Bucket

Question

Я знаю, что мы можем легко подсчитать общее количество объектов корзины S3 с помощью приведенной ниже команды, но как узнать количество объектов в отдельных папках корзины S3?

aws s3 ls s3://mybucket/ --recursive | wc -l 

Например, еслиВ ведре есть подпапки, как показано ниже, я хочу знать количество объектов в каждой папке с датами

~$aws s3 ls s3://mybucket/ 
                       PRE 2019-01-01/
                       PRE 2019-01-02/
                       PRE 2019-01-03/
                       PRE 2019-01-04/

Answer 1

Вы можете использовать что-то вроде этого скрипта Python3:

import boto3
from pathlib import Path

s3_resource = boto3.resource('s3', region_name='ap-southeast-2')

folders = {}
bucket = s3_resource.Bucket('my-bucket')
for object in bucket.objects.all():
    path = Path(object.key).parent
    folders[path] = folders.get(path, 0) + 1

for folder in folders:
    print(folder, folders[folder])