Как оптимизировать использование AWS s3 для решения проблемы «Пожалуйста, уменьшите частоту запросов»

Question

Я работаю над проектом, в котором количество запросов на чтение / запись увеличивается с увеличением размера данных.Но поскольку мы тестируем 50 ГБ данных, мы делаем очень большое количество запросов на чтение / запись к s3, а s3 выдает ошибку «пожалуйста, уменьшите частоту запросов».Мы не можем выбрать вариант, чтобы уменьшить количество запросов, поэтому есть ли какой-нибудь возможный способ использовать s3 более разумно, чтобы избежать этой проблемы.Любая помощь будет оценена.

Answer 1

Вам необходимо распределить нагрузку по множеству префиксов s3.

Amazon S3 автоматически масштабируется до высоких уровней запросов.Например, ваше приложение может выполнить не менее 3500 запросов PUT / POST / DELETE и 5500 запросов GET в секунду на префикс в сегменте.Нет ограничений на количество префиксов в корзине.Это просто увеличить вашу производительность чтения или записи в геометрической прогрессии.Например, если вы создаете 10 префиксов в корзине Amazon S3 для распараллеливания операций чтения, вы можете увеличить производительность чтения до 55 000 запросов на чтение в секунду.

Проверьте здесь