Эффективный MapReduce при работе с потоками для запросов к одному и тому же набору данных - PullRequest
0 голосов
/ 04 февраля 2010

У меня есть массивный статический набор данных, и у меня есть функция для его применения.

f находится в форме Reduce (map (f, набор данных)), поэтому я бы использовал скелет MapReduce. Тем не менее, я не хочу разбрасывать данные при каждом запросе (и в идеале я хочу использовать индексирование для ускорения f). Есть реализация MapReduce, которая обращается к этому общему случаю?

Я посмотрел на IterativeMapReduce и, возможно, он выполняет свою работу, но, похоже, решает немного другой случай, а код еще не доступен.

1 Ответ

0 голосов
/ 07 февраля 2010

MapReduce Hadoop (и все остальные скелеты сокращения карт, вдохновленные Google) не разбрасывают данные все время.

...