hadoop с плагином mongodb - читать данные - PullRequest
0 голосов
/ 27 марта 2012

Я знаю, что можно читать и записывать данные из mongodb через hadoop.

Я хочу знать, использует ли этот адаптер при чтении данных из коллекции mongodb собственный драйвер mongodb, поэтому он использует экземпляр mongod или этот адаптер для чтения данных непосредственно?

Также, когда hadoop считывает данные mongodb для обработки в карте, это сокращение карты hadoop не блокирует сбор данных mongodb?

Другими словами, когда hadoop считывает данные mongodb, hadoop сохраняет эти данные для использования hadoop, и hadoop не вмешивается в данные mongodb, потому что, когда hadoop execute mapreduce работает с данными, полученными mongodb, но сохраняет внутреннее значение в hadoop для обработки?

1 Ответ

1 голос
/ 27 марта 2012

Никакие данные не кэшируются и не сохраняются в Hadoop с помощью плагина mongo-hadoop.

Вместо этого каждый блок считывается в Hadoop как отдельный входной разделитель для паралеллизации задания Hadoop MapReduce.

Единственная блокировка, которая происходит в mongodb - это легкая блокировка чтения, когда данные считываются из Mongo.

...