HadoopFS (HDFS) в качестве распределительного хранилища файлов

Question

Я рассматриваю использование HDFS в качестве системы хранения файлов с горизонтальным масштабированием для нашего клиентского видеохостинга. Моя главная проблема в том, что HDFS не была разработана для этих нужд, это скорее «система с открытым исходным кодом, используемая в настоящее время в ситуациях, когда необходимо обрабатывать огромные объемы данных». Мы не хотим обрабатывать данные, просто сохраняем их, создаем на основе HDFS что-то вроде небольшого внутреннего аналога Amazon S3.

Вероятно, важным моментом является то, что размер хранимого файла будет вполне мерзавцем от 100 МБ до 10 ГБ.

Кто-нибудь использовал HDFS в таких целях?

Answer 1

Если вы используете эквивалент S3, то он уже должен предоставлять распределенную, монтируемую файловую систему no? Возможно, вы можете проверить OpenStack на http://openstack.org/projects/storage/.

Answer 2

Вы можете рассмотреть MongoDB для этого. У них есть GridFS, которая позволит вам использовать его в качестве хранилища. Затем вы можете масштабировать хранилище по горизонтали через сегменты и обеспечивать отказоустойчивость при репликации.

• http://docs.mongodb.org/manual/core/gridfs/
• http://docs.mongodb.org/manual/replication/
• http://docs.mongodb.org/manual/sharding/

Answer 3

Основным недостатком будет отсутствие семантики POSIX.Вы не можете смонтировать диск, и вам нужны специальные API для чтения и записи с него. Java API является основным.Есть проект под названием libhdfs , который делает C API поверх JNI, но я никогда не использовал его. Thriftfs - еще один вариант.

Я также не уверен в производительности чтения по сравнению с другими альтернативами.Может быть, кто-то еще знает.Вы проверяли другие распределенные файловые системы , такие как Lustre ?