Hadoop с хранилищем MongoDB

Question

У меня есть проект, чтобы использовать NoSQL DB с Hadoop и тестировать его. Я выбрал MongoDB в качестве базы данных, но я был смущен чем-то и у меня есть некоторые вопросы, которые необходимо уточнить:

1. Будет ли MongoDB заменять HDFS или они будут работать вместе и как?

2. Отличается ли сравнительный анализ MongoDB от работы с Hadoop? Потому что я чувствую, что они - одно и то же.

3. Я нашел инструмент YCSB для бенчмаркинга. Может ли это сравнить их вместе?

4. Я знаю, что MongoDB может работать в кластере, когда monogo поверх Hadoop, будут ли данные совместно использоваться узлами MongoDB или Hadoop?

Надеюсь, вы проясните эти понятия и заранее благодарим вас.

Answer 1

Будет ли MongoDB заменять HDFS

Абсолютно нет.HDFS не предназначена для использования в качестве базы данных, и Mongo не является распределенной файловой системой, способной хранить петабайты любых данных

будут ли они работать вместе и как?

HIve и Spark могут читать данные из Mongo напрямую.Я уверен, что есть другие инструменты, которые могут создавать резервные копии Mongo в HDFS.

Отличается ли сравнительный анализ только MongoDB от работы с Hadoop

Да, операции чтения и записи будут сильно отличаться от параметров настройки по сравнению с HDFS, поскольку HDFS не является базой данных

Инструмент YCSB для бенчмаркинга

Непонятно, что вы тестируете в Hadoop.Запись и чтение файлов (с и без mapreduce)?Видя, сколько заданий запускается в YARN в данный момент времени?Опять же, Hadoop не является базой данных, предназначенной для хранения простых двоичных объектов JSON.

когда monogo поверх Hadoop, будут ли данные распределены между узлами MongoDB или Hadoop?

Я никогда не слышал об этом, но, возможно, указателихранится в Mongo, а необработанные данные обслуживаются HDFS?