База данных для файлового ввода-вывода. и способ подключения HDFS на удаленном клиенте

Question

Помните, что я не владею английским языком до того, как вы прочитаете. Я новичок в NoSQL, и сейчас пытаюсь использовать HBase для хранения файлов. - Я буду хранить файлы в HBase как двоичные файлы. Мне не нужна статистика. Единственное, что мне нужно, это хранилище файлов. РЕКОМЕНДУЕТСЯ!?!?

Я беспокоюсь о скорости ввода / вывода.

На самом деле, поскольку я не мог найти способ подключить HDFS без Hadoop, я хочу попробовать HBase для хранения файлов. Я не могу настроить Hadoop на клиентском компьютере. Я пытался найти некоторые библиотеки - например, JDBC для RDBMS - которые помогают клиенту подключать HDFS для получения файлов. но я ничего не смог найти и просто выбрал HBase вместо библиотеки подключений.

Могу ли я получить помощь от кого-то?

Answer 1

Это действительно зависит от размеров вашего файла.В Hbase, как правило, не рекомендуется хранить файлы или большие объекты, максимальный размер ключа по умолчанию составляет 10 МБ.Я поднял этот лимит и запустил тесты со значениями> 100 МБ, но вы рискуете OOME вашим региональным серверам, так как он должен хранить все значение в памяти - сконфигурируйте вашу память JVM с осторожностью.

Когда задается вопрос такого типав списке hbase-users обычный ответ - рекомендовать использовать HDFS, если ваши файлы могут быть большими.

Вы должны иметь возможность использовать Thrift для подключения к HDFS, чтобы обойти установку клиента Hadoop на вашем клиентском компьютере.