Mongodb вставляет не завершается успешно (с помощью node.js) - PullRequest
Новая
       13

Mongodb вставляет не завершается успешно (с помощью node.js)

3 голосов
/ 22 мая 2011

У меня есть скрипт node.js, который загружает файл XML. Он проходит по каждому элементу в массиве Mongo и сообщает , что все они вставлены правильно, но когда скрипт завершил проверку db.collection.count();, мне сообщают, что в базу данных было вставлено гораздо меньше записей чем ожидаемое число.

Как сделать так, чтобы mongo и node.js хорошо играли со вставками? 

GrabRss = function() {
var http    = require('http');
var sys     = require('sys');
var xml2js  = require('xml2js');
var fs      = require('fs');

var Db      = require('../lib/mongodb').Db,
    Conn    = require('../lib/mongodb').Connection,
    Server  = require('../lib/mongodb').Server,
    // BSON = require('../lib/mongodb').BSONPure;
    BSON    = require('../lib/mongodb').BSONNative;

var data;
var checked = 0;
var len = 0;

GotResponse = function(res) {
    var ResponseBody = "";
    res.on('data', DoChunk);
    res.on('end', EndResponse);

    function DoChunk(chunk){
        ResponseBody += chunk;
    }
    function EndResponse() {
        //console.log(ResponseBody);
        var parser = new xml2js.Parser();
        parser.addListener('end', GotRSSObject);
        parser.parseString(ResponseBody);
    }
}

GotError = function(e) {
    console.log("Got error: " + e.message);
}

GotRSSObject = function(r){
    items = r.item;
    //console.log(sys.inspect(r));

    var db = new Db('myrssdb', new Server('localhost', 27017, {}), {native_parser:false});
    db.open(function(err, db){
         db.collection('items', function(err, col) {
            len = movies.length;
            for (i in items) {
                SaveItem(items[i], col);
            }
         });
    });
}

SaveItem = function(m, c) {
            /*  REPLACE FROM HERE IN ANSWER  */
    c.find({'id': m.id}, function(err, cursor){
        cursor.nextObject(function(err, doc) { 
            if (doc == null) {
                c.insert(m, function(err, docs) {
                    docs.forEach(function(doc) {
                        console.log('Saved: '+doc.id+' '+doc.keywords);
                    });
                });
            } else {
                console.log('Skipped: '+m.id);
            }
            if (++checked >= len) {
                process.exit(0);
            } 
        });
    });
            /*  REPLACE TO HERE IN ANSWER  */
}
//http.get(options, GotResponse).on('error', GotError);
var x2js = new xml2js.Parser();

fs.readFile('/home/ubuntu/myrss.rss', function(err, data) {
    x2js.parseString(data);
});

x2js.addListener('end', GotRSSObject);

}
GrabRss();

По запросу, код выше. Файл читается локально (хотя раньше это был HTTP-запрос, но сейчас это файл размером 25 мегабайт, много записей RSS)

Я только что запустил файл с ~ 10k записями в нем, и количество элементов в mongoDB после запуска скрипта составляет около 800 элементов.

Согласно ответу я заменил код вставки:

с: 

c.update({'id': m.id}, {$set: m}, {upsert: true, safe: true}, function(err){
    if (err) console.warn(err.message);
        else console.log(m.keywords);
        if (++checked >= len) {
            console.log(len);
            //process.exit(0);

            process.exit(0);
        } 
});

1 Ответ

7 голосов
/ 22 мая 2011

По умолчанию записи MongoDB не проверяют на ошибку.

Вам необходимо установить safe:true в опциях для вставки, как описано в документации к node-mongodb-native: 

var collection = new mongodb.Collection(client, 'test_collection');
collection.insert({hello: 'world'}, {safe:true},
                  function(err, objects) {
  if (err) console.warn(err.message);
  if (err && err.message.indexOf('E11000 ') !== -1) {
    // this _id was already inserted in the database
  }
});

В противном случае ваш обратный вызов не будет вызван для ошибок, и ваш клиент не будет знать о них.

Возможно, вы также захотите посмотреть на обновления и обновления, поскольку поиск и вставка в ноль в цикле невероятно неэффективны.

Вместо этого upsert будет обновлять, если соответствующий документ существует, в противном случае он вставит новый. Объяснение того, как это сделать в Node, приведено в документации для драйвера.

...