CouchDB, Node.js, Cradle - Как получить данные на основе возвращенных данных - PullRequest
1 голос
/ 11 августа 2011

Я работаю в системе обмена сообщениями, используя node.js + cradle и couchdb.

Когда пользователь тянет список своих сообщений, мне нужно вывести онлайн-статус пользователя, отправившего ему сообщение.,Статус онлайн хранится в пользовательском документе для каждого зарегистрированного пользователя, а информация о сообщении хранится в отдельном документе.

Вот единственный способ, которым я могу сделать то, что мне нужно, но егокрайне неэффективно

privatemessages / all key = имя пользователя получателя сообщения

db.view('privatemessages/all', {"key":username}, function (err, res) {
    res.forEach(function (rowA) {
        db.view('users/all', {"key":rowA.username}, function (err, res) {
            res.forEach(function (row) {
                result.push({onlinestatus:row.onlinestatus, messagedata: rowA});
            });
        });
    });

    response.end(JSON.stringify(result));
});

Может кто-нибудь сказать мне правильный способ сделать это?

Спасибо

Ответы [ 3 ]

1 голос
/ 11 августа 2011

Ваш код может вернуть пустой результат, потому что вы вызываете ответ в то время, когда пользовательские статусы еще не могут быть получены из БД. Другая проблема заключается в том, что если я получил несколько сообщений от одного и того же пользователя, то вызов его статуса может быть дублированным. Ниже приведена функция, которая сначала извлекает сообщения из БД, избегая двойственности пользователей, а затем получает их статусы.

function getMessages(username, callback) {
    // this would be "buffer" for senders of the messages
    var users = {};
    // variable for a number of total users I have - it would be used to determine
    // the callback call because this function is doing async jobs
    var usersCount = 0;
    // helpers vars
    var i = 0, user, item;

    // get all the messages which recipient is "username"
    db.view('privatemessages/all', {"key":username}, function (errA, resA) {
        // for each of the message
        resA.forEach(function (rowA) {
            user = users[rowA.username];
            // if user doesn't exists - add him to users list with current message
            // else - add current message to existing user
            if(!user) {
                users[rowA.username] = {
                    // I guess this is the name of the sender
                    name: rowA.username,
                    // here will come his current status later
                    status: "",
                    // in this case I may only need content, so there is probably 
                    // no need to insert whole message to array
                    messages: [rowA]
                };
                usersCount++;
            } else {
                user.messages.push(rowA);
            }
        });

        // I should have all the senders with their messages
        // and now I need to get their statuses
        for(item in users) {
            // assuming that user documents have keys based on their names
            db.get(item, function(err, doc) {
                i++;
                // assign user status
                users[item].status = doc.onlineStatus;
                // when I finally fetched status of the last user, it's time to
                // execute callback and rerutn my results
                if(i === usersCount) {
                    callback(users);
                }
            });
        }
    });
}

...

getMessages(username, function(result) {
    response.end(JSON.stringify(result));
});

Хотя CouchDB - отличная база данных документов, вы должны быть осторожны с частыми обновлениями существующих документов, потому что она создает совершенно новую версию документа после каждого обновления (это из-за модели MVCC , которая используется для достижения высокой доступность и долговечность данных). Следствием этого поведения является более высокое потребление дискового пространства (больше данных / обновлений, больше необходимого дискового пространства - пример ), поэтому вы должны наблюдать за ним и соответственно использовать потребление базы данных.

1 голос
/ 11 августа 2011

Я думаю, что ваша система может использовать хэш-карту в памяти, такую ​​как memcached. Срок действия каждой записи о статусе пользователя истекает через некоторое время. Картирование будет [пользователь -> lasttimeseen]

Если хэш-карта содержит пользователя, то пользователь находится в сети. Для некоторых действий обновите последний раз.

Тогда вместо того, чтобы каждый раз пинговать весь мир, просто запросите саму карту и верните результат.

0 голосов
/ 12 августа 2011

Мне напомнили об этой презентации:

Базы данных сосут для обмена сообщениями

И их цитата от Тима О'Рейли:

«В понедельник Friendfeed опрашивал Flickr почти 3 миллиона раз для 45000 пользователей, из которых только 6K зарегистрировались. Несоответствие архитектуры.»

Как указано в других ответах, обновления в CouchDB являются дорогостоящими иследует избегать, если это возможно, и, вероятно, нет необходимости, чтобы эти данные были постоянными.Система кэширования или обмена сообщениями может решить вашу проблему более элегантно и более эффективно.

...