HDFS против GridFS: когда и какой использовать? - PullRequest
7 голосов
/ 31 января 2012

HDFS и GridFS - две замечательные технологии для распределенного сохранения файлов, но в чем их различия? Какие проблемы лучше подходят каждому?

Ответы [ 4 ]

3 голосов
/ 22 мая 2012

HDFS, предназначенная для пакетной обработки (вы знаете, когда вы запускаете запрос, который будет читать многие из ваших файлов по одному), но действительно отстой, когда вы выполняете операции произвольного доступа, и это больно в шею поддерживать его или даже развернуть (вы знаете, все эти Zookepers, Namenodes и так далее). С другой стороны, GridFS работает медленнее в пакетном режиме, но не в том случае, когда вы делаете много случайных обращений, но у вас больше издержек на хранение по сравнению с HDFS.

Я бы сказал, что вы должны использовать HDFS для analitycs и GridFS для поддержки веб-сайта.

2 голосов
/ 31 января 2012

Используйте HDFS, если вы используете Hadoop, и используйте GridFS, если вы используете MongoDB. Ни то, ни другое не подходит для хранения случайных файлов. Они созданы для работы с аналитической платформой.

1 голос
/ 31 января 2012

Я бы порекомендовал использовать GridFS, если вы собираетесь хранить только свои файлы без каких-либо аналитических и картографических заданий. Проще настроить и поддерживать. Я использовал для файлового хостинга приложения. HFDS в этом случае является излишним.

0 голосов
/ 31 января 2012

GridFs немного медленнее других fs ... сначала подумайте о других FS, таких как ceph ...

Распределенная файловая система - Википедия, бесплатная энциклопедия -> http://en.wikipedia.org/wiki/Distributed_file_system

я думаю, что HDFS действительно fs, но GridfS - это только сетка базы данных

при последнем использовании эталона, но вряд ли что-то предложить Распределенная файловая система

...