Как определить размер папки s3?

Question

У меня есть куча папок s3 для разных проектов / клиентов, и я хотел бы оценить общий размер (поэтому я могу, например, рассмотреть вопрос о сокращении размеров / стоимости). Какой хороший способ определить это?

Answer 1

Как указано здесь AWS CLI изначально поддерживает параметр --query с может определять размер каждого объекта в корзине S3.

 aws s3api list-objects --bucket BUCKETNAME --output json --query "[sum(Contents[].Size), length(Contents[])]"

Надеюсь, это поможет.

Answer 2

Если вы хотите проверить через консоль.

1. Если вы упоминаете папку по папке, а не корзину, то просто выберите этот объект go в раскрывающемся списке «action» и выберите «Get total size "
2. Если вы имеете в виду корзину за папкой, то go на вкладке управления и в этом go метрике будет показан полный размер корзины

Answer 3

Я могу сделать это с помощью комбинации Python и AWS клиента:

import os

bucket_rows = os.popen('aws s3 ls').split(chr(10))
sizes = dict()

for bucket in bucket_rows:
    buck = bucket.split(' ')[-1]    # the full row contains additional information
    cmd = f"aws s3 ls --summarize --human-readable --recursive s3://{buck}/ | grep 'Total'"
    sizes[buck] = os.popen(cmd).read()