Hadoop для алгоритмов супер O (N) или O (N log N)?

Question

Есть ли документированный случай, когда Hadoop работает для любого алгоритма, более чем линейного? Или огромные наборы данных в значительной степени означают, что все, что выше линейного, недопустимо?

Я пытаюсь найти алгоритмы, которые работают на Hadoop, для более сложных вещей, чем просто сортировка / агрегирование.

Спасибо!

Answer 1

Вот обзор ~ 50 статей, описывающих алгоритмы с mapreduce (hadoop): http://atbrox.com/2010/02/12/mapreduce-hadoop-algorithms-in-academic-papers-updated/ Некоторые из алгоритмов, классифицированных по статистике, имеют время работы O (N ^ 2)

Answer 2

Вы смотрели на Apache Mahout Project ? Они реализуют алгоритмы машинного обучения с использованием Hadoop (большинство алгоритмов так или иначе делают).

Алгоритмы, над которыми они работают, перечислены в их вики здесь .