Я пытаюсь получить размер нескольких объектов в корзине S3. Я прошел ниже вопрос
https://serverfault.com/questions/84815/how-can-i-get-the-size-of-an-amazon-s3-bucket
aws s3 ls - суммировать - читаемое человеком --recursive s3: // имя_катушки / каталог
Используя вышеизложенное, мы можем получить размер корзины S3.
В моем случае мне нужно получить размер нескольких каталогов, упорядоченных по определенному шаблону.
s3://bucket-name/ABC/2016/01/22/file11.csv
s3://bucket-name/ABC/2016/01/23/file1.csv
s3://bucket-name/ABC/2016/01/24/file23.csv
s3://bucket-name/DEF/2016/01/22/file45.csv
s3://bucket-name/DEF/2016/01/23/file76.csv
s3://bucket-name/DEF/2016/01/24/file32.csv
s3://bucket-name/GHI/2016/01/22/file39.csv
s3://bucket-name/GHI/2016/01/23/file78.csv
s3://bucket-name/GHI/2016/01/24/file59.csv
У меня есть структура S3 Bucket, как указано выше, где я получаю файлы ежедневно, и мне нужно узнать размер пакета с помощью сценария оболочки.
т.е.
s3://bucket-name/ABC/2016/01/22/file11.csv
s3://bucket-name/DEF/2016/01/22/file45.csv
s3://bucket-name/GHI/2016/01/22/file39.csv
Ниже я попробовал
files=$(aws --profile default s3 ls --summarize --human-readable --recursive s3://$source_bucket/$source_folder/)
for file in files
aws --profile default s3 cp s3://$source_bucket/$source_folder/$year/$month/$day/$file
Я передам исходную папку, год, месяц и дату в качестве аргументов скрипту тому, что на эту дату мне нужно получить размер пакета.
Как только я получил файл в локальный каталог, мне нужно сохранить размер файла до следующей итерации по другой исходной папке.
Любые предложения, пожалуйста