AWS S3 LISTING работает медленно

Question

Я пытаюсь выполнить следующую команду, используя AWS CLI для корзины S3:

aws s3 ls s3://bucket name/folder_name --summarize --human-readable --recursive

Я пытаюсь определить размер папки, но, учитывая наличие нескольких уровней и огромное количество файлов, она работает часами.

Существует ли эффективный способ быстрого получения размера на уровне папок в Amazon S3?

Answer 1

Вы можете использовать Amazon S3 Inventory :

Инвентаризация Amazon S3 предоставляет разделенные запятыми значения (CSV) или выходные столбчатые (ORC) оптимизированные строки Apache, в которых перечислены ваши объекты и соответствующие метаданные на ежедневной или еженедельной основе для сегмента S3 или общего префикса (то есть объекты, имена которых начинаются с общей строки).

Вам нужно будет проанализировать файл, но вся информация предоставлена.

Он обновляется только ежедневно, поэтому, если вам нужно что-то быстрее, вам придется звонить самостоятельно.