Существуют ли масштабируемые системы хранения файлов с открытым исходным кодом?

Question

Интересно, какое программное обеспечение используют такие компании, как dropbox, rapidshare, hotfile и другие, для управления огромным количеством файлов? Есть ли какая-либо система с открытым исходным кодом. Я взглянул на gridFS, которая основана на mongo-db. Похоже, это не лучший выбор из-за скорости (по сравнению с nginx). Или я не прав?

Я хочу систему, которая может масштабироваться бесконечно. Подключив серверы к системе. По списку до 100 ТБ.

Answer 1

Checkout MogileFS - http://danga.com/mogilefs/ - файловая система с открытым исходным кодом, разработанная Danga Interactive для использования с их сервисами LiveJournal.com.

Если вы не хотите / не можете использовать облачные сервисы, такие как AmazonS3 и запустить свои собственные серверы, чем MogileFS может быть правильным выбором.MogileFS надежен, управление и масштабирование очень просты и дешевы.

К сожалению, я не могу предоставить сравнение производительности или тесты для других файловых систем.Но вы не должны ожидать MogileFS за первое место, потому что он работает на уровне приложения, что также может быть преимуществом.

См. Также страницу Google Code для получения дополнительной информации: http://code.google.com/p/mogilefs/

Answer 2

GlusterFs - это распределенная файловая система с открытым исходным кодом. В отличие от HDFS он не имеет централизованных метаданных. Это означает, что GlusterFS не имеет единой точки отказа.

Answer 3

Hadoop HDFS - это масштабируемая файловая система. Другой вариант - GlusterFS

Answer 4

Dropbox построен на Amazon S3 Dropbox - где хранятся мои файлы .

Здесь вы можете найти несколько вариантов с открытым исходным кодом: Альтернативы Amazon S3

Answer 5

Что вы подразумеваете под gridFS имеет ограничения по емкости?Можете ли вы быть более конкретным или указать на некоторую документацию, где вы читаете это, так как я не знаю каких-либо ограничений емкости с gridFS.

Answer 6

Для гуглера, который находит этот вопрос:

FB имеет так много файлов, что им пришлось писать свою собственную файловую систему;несколько файлов в основном хранятся в одном гигантском файле с маркерами между ними.Это сделано для того, чтобы уменьшить количество файлов в системе.

То, что вам нужно, похоже на Big Table's Google File System