Разъем hadoop mongodb - выводит данные не как mongodb, а как hdfs - PullRequest
Новая
       28

Разъем hadoop mongodb - выводит данные не как mongodb, а как hdfs

1 голос
/ 01 апреля 2012

возможно ли считывать данные mongodb из коннектора плагина hadoop mongodb, обрабатывать данные с помощью mapreduce hadoop, и когда результаты вывода не используют коннектор плагина hadoop mongodb, но оставить результат mapoopupce hadoop как есть, в hdfs?

1 Ответ

0 голосов
/ 02 апреля 2012

Я думаю, что этот предыдущий ответ на SO отвечает на ваш вопрос, с небольшим изменением:

Можно ли читать данные MongoDB, обрабатывать их с помощью Hadoop и выводить их в RDBS (MySQL)?

Основное отличие состоит в том, что вы должны установить для OutputFormatClass что-то вроде: 

job.setOutputFormatClass( SequenceFileOutputFormat.class );

Вам также необходимо установить путь вывода в HDFS, в которую вы хотите сохранить данные. См. Их пример WordCount для полного кода, но используйте вышеприведенный формат вывода вместо MongoOutputFormat.

...