Как я могу организовать более миллиона файлов сейчас, когда я переезжаю на Amazon S3?

Question

Что ж, я загружаюсь с моего общего хоста и переключаюсь на комбинацию VPS из Linode и Amazon S3 для размещения нескольких миллионов jpegs.

Мое большое беспокойство - сохранять какое-то здравомыслие со всеми этими изображениями. Есть ли надежда на это? Насколько я понимаю, вам разрешено только 100 "сегментов" и "сегментов" - единственный тип структуры в S3.

Неужели вы бы посоветовали поместить несколько миллионов файлов в корзину?

Answer 1

Вы можете заметить в Ограничения и ограничения на ведро , там указано:

There is no limit to the number of objects that can be stored in a bucket

Мой опыт показывает, что очень большое количество объектов в одном ведре не влияет на производительность.получения единственного объекта по его ключу (то есть получение, кажется, имеет постоянную сложность).

Наличие очень большого количества объектов также не влияет на скорость перечисления заданного количества объектов :

List performance is not substantially affected by the total number of keys in your bucket

Однако я должен предупредить вас, чтобольшинство инструментов управления S3, которые я использовал (например, S3Fox), будут задыхаться и умирать ужасной медленной смертью при попытке получить доступ к ведру с очень большим количеством объектов. S3 Browser (у них есть бесплатная версия и версия Pro, я никак не связан с ними). ​​

Использование «папок» или префиксов не меняет ни одну из этих точек (получение и перечисление заданного количества объектов по-прежнему постоянны, большинство инструментов по-прежнему падают на себя и зависают).