MongoDB: агрегирование данных с использованием Map / Reduce - PullRequest
Новая
       17

MongoDB: агрегирование данных с использованием Map / Reduce

2 голосов
/ 13 марта 2011

Я до сих пор не до конца понимаю, как работает map / lower, поэтому я решил привести пример проблемы, которую мне нужно решить, и, надеюсь, ответ поможет мне понять концепцию.

Я отслеживаю просмотры страниц, используя структуру документа, подобную этой: 

{
    "timestamp" : 1299990045,
    "visitor" : {
        "region" : {
            "country_code" : "US",
        },
        "browser" : {
            "name" : "IE",
            "version" : "8.0",
        }
    },
    "referer" : {
        "host" : "www.google.com",
        "path" : "/",
        "query" : "q=map%2Freduce"
    }
}

Я сохраняю один документ для каждого просмотра страницы. Поскольку я получаю около 15 миллионов просмотров страниц в день, я хотел бы агрегировать эти результаты каждую ночь, сохранять сводные результаты за этот день, а затем отбрасывать коллекцию, чтобы снова начать сохранять просмотры страниц. Я хочу, чтобы выходные данные карты / редуктора выглядели так: 

{
    "day" : "Sun Mar 13 2011 00:00:00 GMT-0400 (EDT)",
    "regions" : {
        "US" : 235,
        "CA" : 212,
        "JP" : 121
    },
    "browsers" : {
        "IE" : 145,
        "Firefox" : 245,
        "Chrome" : 95,
        "Other" : 120
    },
    "referers" : {
        "www.google.com" : 24,
        "yahoo.com" 56
    }
}

Я действительно не знаю, с чего начать делать подобные вещи. Любая помощь будет оценена.

1 Ответ

10 голосов
/ 13 марта 2011

Типичный процесс написания задания сокращения карты - начать с формата данных, который вы хотите использовать в качестве результата вашего сокращения, создать функцию карты, которая выводит ее, а затем функцию сокращения, которая их складывает.В вашем примере вы бы сделали что-то вроде этого: 

function map() { 
    var date = new Date( this.timestamp.getFullYear(), 
                         this.timestamp.getMonth(),
                         this.timestamp.getDay() );
    var out  = { regions: {}, browsers: {}, referers: {} };
    out.regions[ this.visitor.region.country_code ] = 1; 
    out.browsers[ this.visitor.browser.name ] = 1;
    out.referers[ this.referer.host ] = 1; 
    emit( date, out);
}

function reduce( key, values ) { 
    var out = { regions: {}, browsers: {}, referers: {} };
    values.forEach(function(value) { 
      for( var region in value.regions ) { 
        if( out.regions[region] ) { 
          out.regions[ region ] += value[region];
        } else { 
          out.regions[ region ] = value[region];
        }
      };
      for( var browser in value.browsers ) { 
        if( out.browsers[browser] ) { 
          out.browsers[ browser ] += value[browser]; 
        } else { 
          out.browsers[ browser ] = value[browser]; 
        }
      };
      for( var referer in value.referers ) { 
        if( out.referers[ referer] ) { 
          out.referers[ referer ] += value[referer];
        } else {  
          out.referers[ referer ] = value[referer];
        } 
      }
    });
    return out; 
}

В конце этого у вас должна быть выходная коллекция, которая выглядит примерно так: 

{ 
  _id: "Sun Mar 13 2011 12:23:58 GMT-0700 (PDT)", 
  value: { 
    regions:  {
      "US" : 235,
      "CA" : 212,
      "JP" : 121
    },
    browsers: { 
      "IE" : 145,
      "Firefox" : 245,
      "Chrome" : 95,
      "Other" : 120 
    }, 
    referers: { 
      "www.google.com" : 24,
      "yahoo.com" 56
    } 
  } 
}

Обратите внимание, чтоесть еще один способ сделать это .. Вместо того, чтобы выполнять работу по сокращению карты, вы также можете хранить все эти данные в режиме реального времени, используя атомарные приращения и upserts.

Например, каждый раз, когда вы генерируете один из документов для просмотра страниц, вы также можете сделать следующее обновление: 

db.pageviews.summaries.update( { _id: new Date( this.timestamp.getFullYear(), 
                                                this.timestamp.getMonth(),
                                                this.timestamp.getDay() ) },
                               { $inc : {
                                     'visitor.region.US' : 1,
                                     'visitor.browser.IE' : 1,
                                     'referer.www.google.com' : 1 
                                  }
                               },
                               true // upsert
                             );

Это будет означать, что у вас всегда есть сводный документ додата и не нужна карта, чтобы сократить количество рабочих мест.

Заметьте, вы можете избежать "."в ваших доменных именах Mongo будет интерпретировать это как иерархию документов, а не как имя атрибута.

...