Файловый ввод / вывод на NoSQL - особенно HBase - рекомендуется?или нет?

Question

Я новичок в NoSQL и сейчас пытаюсь использовать HBase для хранения файлов.Я буду хранить файлы в HBase в двоичном виде.

Мне не нужна статистика, только хранилище файлов.

РЕКОМЕНДУЕТСЯ?Я беспокоюсь о скорости ввода-вывода.

Причина, по которой я использую HBase для хранилища, заключается в том, что мне приходится использовать HDFS , но я не могу собрать Hadoop на клиентском компьютере.Из-за этого я пытался найти некоторые библиотеки, которые помогают клиенту подключаться к HDFS для получения файлов.Но я не смог его найти, и я просто выбрал HBase вместо библиотеки подключений.

Что мне делать в этой ситуации?

Answer 1

Я думаю, что возможность монтировать HDFS как обычную файловую систему должна помочь вам.http://wiki.apache.org/hadoop/MountableHDFS

Answer 2

Вы, конечно, можете использовать HBase для хранения файлов.Возможно, это не идеальный вариант, и в зависимости от размера файла вы можете настроить некоторые параметры.По сравнению с HDFS, это, вероятно, гораздо лучшая альтернатива для большого количества файлов.

Настройки, на которые нужно обратить внимание:

• максимальный размер региона: вы, вероятно, захотите включить этодо 4 ГБ
• максимальный размер ячейки: вы можете установить это значение на 0, чтобы отключить этот предел

Вы также можете посмотреть на другие виды альтернатив (возможно, даже MapR).

Answer 3

Я не знаю о Hadoop, но MongoDB имеет GridFS, которая предназначена для распределенного хранилища файлов, которое позволяет масштабировать по горизонтали, получать репликацию для «бесплатно» и т. Д.

http://www.mongodb.org/display/DOCS/GridFS

При сохранении файлов в чанках в MongoDB будут некоторые накладные расходы, поэтому, если ваша нагрузка низкая или средняя, ​​и вам нужно малое время отклика, вам, вероятно, будет лучше использовать файловую систему напрямую.Производительность также зависит от реализации драйвера.