S3 Bucket формат даты пути для более быстрых операций

Question

Один из консультантов из AWS сказал мне, что при именовании папок (объектов) в s3 указывается дата. используйте MM-DD-YYYY для более быстрых операций s3, таких как get Object, но я обычно использую YYYY-MM-DD. Я не понимаю, в чем разница, есть ли разница, если да, какая из них лучше?

Answer 1

Раньше это было ограничение из-за способа хранения данных во внутреннем интерфейсе, но оно больше не применяется (к исходному расширению, см. Комментарий jellycs c ниже).

Причиной этой рекомендации было то, что в прошлом Amazon Simple Storage Service (S3) секционировал данные, используя ключ. Если многие файлы имеют одинаковый префикс (например, все начинаются с одного года), это могло привести к снижению производительности, когда необходимо загрузить много файлов из одного раздела.

Однако, начиная с 2018 года, хэширование и случайное использование префикс S3 больше не требуется, чтобы увидеть улучшенную производительность: https://aws.amazon.com/about-aws/whats-new/2018/07/amazon-s3-announces-increased-request-rate-performance/

Answer 2

S3 создает так называемые разделы под капотом, чтобы обслуживать ваши запросы в ведро. Каждый раздел может обслуживать 3500 запросов PUT / COPY / POST / DELETE или 5500 запросов GET / HEAD в секунду. Они разделяют область на основе общего префикса среди всех ключей объекта. Формат даты ММ-ДД-ГГГГ будет несколько быстрее, чем формат ГГГГ-ММ-ДД, поскольку объекты с именами ММ-ДД-ГГГГ будут распределяться по большему количеству разделов.

Ключ отнимается здесь: больше случайности в начало ключи объектов, скорее всего, дадут вам больше производительности из корзины S3