Монго Карта Уменьшить в первый раз - PullRequest
12 голосов
/ 09 июня 2010

Первый раз Map / Reduce user here и используя MongoDB.У меня есть много данных о посещениях страницы, которые я хотел бы получить с помощью Map / Reduce.Ниже в основном то, что я хочу сделать, но, как абсолютный новичок в Map / Reduce, я думаю, что это выше моих знаний!

  1. Просмотрите все страницы с посещениями за последние 30 дней, игде external = true.
  2. Затем для каждой страницы найдите все посещения
  3. Сгруппируйте все посещения по местоположению реферала
  4. Для каждого местоположения реферала подсчитайте, сколько затем было посещено для посещения.страница, которая имеет определенный «тип», а также содержит определенное слово в «тегах».

База данных и коллекция организованы как

$mongo->dbname->visits

Пример документа:

{"url": "www.example.com", "type": "a", "refer": {"external": true, "domain": "twitter.com", "url": "http://www.twitter.com/page"}, "page": "1235", "user": "1232", "time": 1234567890}

И затем я хочу найти документы типа B с определенным тегом.

{"url": "www.example.com", "type": "b", "page": "745", "user": "1232", "time": 1234567890, "tags": {"a", "b", "c"}}

Я использую обычное расширение Mongo PHP, если это оказывает влияние.

Ответы [ 2 ]

16 голосов
/ 16 июня 2010

Хорошо, я придумала кое-что, что, я думаю, может сделать то, что вы хотите.Обратите внимание, что это может не сработать, поскольку я не уверен на 100% в вашей схеме (учитывая, что ваши примеры показывают refer доступного типа a, но не b (я не уверен, что это упущение или что вы считаетехочу просмотреть по рефереру) ... В любом случае вот что я придумал:

Функция карты:

function() {
    var obj = {
        "types": {},
        "tags": {},
    }
    obj.types[this.type] = 1;
    if (this.tags) {
        for (var tag in this.tags) {
            obj.tags[this.tags[tag]] = 1;
        }
    }
    emit(this.refer.url, obj);
}

Функция уменьшения:

function(key, values) {
    var obj = {
        "types": {},
        "tags": {},
    }
    for (var i = 0; i < values.length; i++) {
        for (var type in values[i].types) {
            if (!type in obj.types) {
                obj.types[type] = 0;
            }
            obj.types[type] += values[i].types[type];
        }
        for (var tag in values[i].tags) {
            if (!tag in obj.tags) {
                obj.tags[tag] = 0;
            }
            obj.tags[tag] += values[i].tags[tag];
        }
    }
    return obj;
}

В общем, как это работает, так это функция Map. Использует ключ refer.url (как я догадался на основании вашего описания). Таким образом, конечный результат будет выглядеть как массив с _id, равным refer.url (Это группирует на основе URL). Затем он создает объект, который имеет два объекта под ним (типы и теги). Причина для объекта заключается в том, что сопоставление и уменьшение может испускать один и тот же объект формата. Кроме этого, я думаю, что этодолжно быть относительно самоочевидным (если вы не понимаете, я могу попытаться объяснить больше) ...

Итак, давайте реализуем это в PHP (при условии, что $map и $reduce являются строками с вышеприведеннымсодержаться с ними для людейeness):

$mapFunc = new MongoCode($map);
$reduceFunc = new MongoCode($reduce);
$query = array(
    'time' => array('$gte' => time() - (60*60*60*24*30)),
    'refer.external' => true
);
$collection = 'visits';
$command = array(
    'mapreduce' => $collection,
    'map' => $mapFunc,
    'reduce' => $reduceFunc,
    'query' => $query,
);

$statsInfo = $db->command($command);

$statsCollection = $db->selectCollection($sales['result']);

$stats = $statsCollection->find();

foreach ($stats as $stat) {
    echo $stats['_id'] .' Visited ';
    foreach ($stats['value']['types'] as $type => $times) {
        echo "Type $type $times Times, ";
    }
    foreach ($stats['value']['tags'] as $tag => $times) {
        echo "Tag $tag $times Times, ";
    }
    echo "\n";
}

Обратите внимание, я не проверял это.Это то, что я придумал, основываясь на моем понимании вашей схемы и на моем понимании Mongo и его реализации Map-Reduce ...

0 голосов
/ 15 марта 2011
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...