что означает префикс s3 в отношении масштаба? - PullRequest
1 голос
/ 10 мая 2019

С Рекомендации по скорости запросов и производительности - Amazon Simple Storage Service :

Amazon S3 автоматически масштабируется до высоких уровней запросов.Например, ваше приложение может выполнить не менее 3500 запросов PUT / POST / DELETE и 5500 запросов GET в секунду на префикс в сегменте.Нет ограничений на количество префиксов в корзине.Это просто увеличить вашу производительность чтения или записи в геометрической прогрессии.Например, если вы создаете 10 префиксов в корзине Amazon S3 для распараллеливания чтений, вы можете увеличить производительность чтения до 55 000 запросов на чтение в секунду.

Предположим, что корзина S3 с папкой s3bucket/sample/.В папке присутствует несколько объектов.Пример: s3bucket/sample/object_1, s3bucket/sample/object_2.

Что означает префикс в этом утверждении?Это полный путь к объекту, например s3bucket/sample или s3bucket/sample/object_1?

. Допускается ли 5500 запросов в секунду для папки - s3bucket/sample или 5500 запросов разрешено для каждого объекта в папке?

У нас есть несколько типов активов, принадлежащих одному контенту. Хотелось бы понять, какой из приведенных ниже вариантов 2 будет масштабироваться лучше?

Вариант 1

s3bucket/contentId_1/assetType_1
s3bucket/contentId_1/assetType_2
s3bucket/contentId_1/assetType_3
s3bucket/contentId_2/assetType_1
s3bucket/contentId_2/assetType_2
s3bucket/contentId_3/assetType_3

или

Вариант 2

s3bucket/contentId_1_assetType_1
s3bucket/contentId_1_assetType_2
s3bucket/contentId_1_assetType_3
s3bucket/contentId_2_assetType_1
s3bucket/contentId_2_assetType_2
s3bucket/contentId_3_assetType_3

1 Ответ

2 голосов
/ 10 мая 2019

На странице написано requests per second per prefix in a bucket, что фактически совпадает с высказыванием «на каталог на корзину».

Честно говоря, вы вряд ли приблизитесь к этим пределам производительности.Крупные компании с миллионами клиентов могут захотеть использовать эти советы по производительности, но подавляющее большинство клиентов AWS не подойдут к таким уровням использования.

Я бы посоветовал вам развернуть ваши данные наиболее осмысленным образом для вашего приложения.вместо того, чтобы соответствовать этим методикам, по крайней мере до тех пор, пока вы не масштабируетесь до очень больших моделей использования.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...