Облачные файлы Rackspace: как определить размеры контейнеров для оптимизации производительности? - PullRequest
4 голосов
/ 10 сентября 2011

В облачных файлах Rackspace используется плоская система хранения, в которой для хранения файлов используются «контейнеры». Согласно Rackspace, количество файлов в контейнере не ограничено.

Мой вопрос заключается в том, существует ли наилучшее / наиболее эффективное количество файлов в контейнере для оптимизации производительности записи / извлечения.

Если у меня есть десятки тысяч файлов для хранения, все ли они должны быть в одном гигантском контейнере или разбиты на множество меньших контейнеров? И если да, то каков оптимальный размер контейнера?

Ответы [ 2 ]

5 голосов
/ 12 октября 2011

FYI: [Фрагменты, взятые из поддержки стоечного пространства]

Короче говоря, контейнеры являются базами данных, и чем больше строк в таблице, тем больше времени требуется для их записи на стандартном оборудовании.Когда запись не была зафиксирована на диске, она находится в очереди и может быть потеряна.Это то, что мы заметили с большими контейнерами, и чем больше объектов, тем больше вероятность, поэтому мы установили ограничения для защиты данных.

из-за ограничений скорости ваши данныебезопасно, он просто замедляет запись

пределы начинаются с 50 000 объектов, и на этом уровне ограничиваются 100 записями в секунду

на 1 000 000 объектов в контейнере, это 25 в секунду

и при 5 миллионах и выше вы уменьшаете до 4 операций записи в секунду

Мы приносим свои извинения за ограничения и будем обновлять нашу документацию, чтобы более четко выразить это.

- Это в последнее время нанесло нам очень сильный вред.Мысль, которой я поделюсь, пока они не получат обновленную версию документа API, чтобы другие могли планировать эту проблему.

2 голосов
/ 13 сентября 2011

Мы рекомендуем не более 1 миллиона объектов в контейнере. По умолчанию система возвращает максимум 10 000 имен объектов на один запрос списка.

Обновление от 20.09.2013 от разработки Cloud Files: рекомендация 1 миллион объектов на контейнер больше не точна, поскольку Cloud Files переключились на все серверы-контейнеры SSD. Кроме того, список ограничен 10 000 контейнеров одновременно.

...