Кто-нибудь когда-нибудь достигал верхней границы чтения или записи для корзины Amazon S3? - PullRequest
6 голосов
/ 30 января 2012

Известны ли ограничения масштабирования S3? У кого-нибудь когда-либо было так много одновременных чтений или записей, что ведро начало возвращать ошибки? Меня больше интересуют записи, чем чтения, потому что S3, вероятно, будет оптимизирован для чтения.

1 Ответ

4 голосов
/ 30 января 2012

Комментарий Эрика подытоживает его уже на концептуальном уровне, как указано в FAQ Что произойдет, если трафик из моего приложения внезапно увеличится? :

Amazon S3 был разработан с нуля для обработки трафика для любого Интернет-приложение. [...] Огромный масштаб Amazon S3 позволяет нам распределите нагрузку равномерно, чтобы ни одно отдельное приложение не пострадало шипы трафика.

Конечно, вам по-прежнему необходимо учитывать возможные проблемы и Настроить [ваше] приложение для повторяющихся ошибок SlowDown (см. Рекомендации по использованию ошибок Amazon S3 ):

Как и в любой распределенной системе , S3 имеет механизмы защиты, которые обнаружение преднамеренного или непреднамеренного перерасхода ресурсов и реагировать соответственно. Ошибки SlowDown могут возникать при высокой частоте запросов. запускает один из этих механизмов. Снижение частоты запросов уменьшить или устранить ошибки этого типа. Вообще говоря, большинство пользователи не будут регулярно сталкиваться с этими ошибками; однако , если вы хотели бы больше информации или испытывают высокий или неожиданный Ошибки SlowDown, пожалуйста, напишите на наш форум разработчиков Amazon S3 http://developer.amazonwebservices.com/connect/forum.jspa?forumID=24 или подпишитесь на премиум-поддержку AWS http://aws.amazon.com/premiumsupport/. [Акцент мой]

Хотя это и происходит редко, конечно, такие замедления случаются - вот ответ команды AWS , иллюстрирующий проблему (хотя и довольно устаревший):

Amazon S3 вернет эту ошибку, когда частота запросов будет достаточно высокой что обслуживание запросов приведет к ухудшению обслуживания других клиентов. Эта ошибка очень редко срабатывает. Если вы получаете это, вы должны экспоненциально отступить . Если эта ошибка возникает, система ресурсы будут перебалансированы / распределены для лучшей поддержки более высокий уровень запросов. В результате, период времени, в течение которого это Ошибка будет выброшена должна быть относительно короткой. [Акцент мой]

Там также подтверждается ваше предположение об оптимизации чтения и записи:

Порог срабатывания этой ошибки варьируется и будет зависеть от часть, по запросу типа и шаблона. В общем, вы сможете достичь более высоких RP с получить против положить и с большим количеством получает для небольшое количество ключей против большого количества ключей для большого количества ключей. При получении или сдаче большого количества ключей вы сможете достичь более высокое число оборотов в секунду, если ключи в алфавитно-цифровом порядке по сравнению со случайным / хэшированным заказ.

...