Какие-нибудь проверенные фреймворки / решения, подобные Apache Hadoop?

Question

Меня интересует проект Apache Hadoop, но я хотел бы знать, есть ли какие-либо другие протестированные (обратите внимание на «протестированные») проекты / платформы.

Цените любую информацию / ссылки на проектыпохож на Apache Hadoop и любые комментарии по проекту Apache Hadoop от всех, кто его использовал.

С уважением,

Answer 1

В Hadoop действительно есть проекты с открытым исходным кодом, которые используют и финансируют. См. Apache Mahout для интеллектуального анализа данных: http://lucene.apache.org/mahout/

А знаете ли вы о других доступных реализациях MR? http://en.wikipedia.org/wiki/MapReduce#Implementations

Answer 2

Как уже упоминалось в ответе на этот вопрос:

https://stackoverflow.com/questions/2168558/is-there-anything-like-hadoop-in-c

MongoDB - это то, на что вы можете посмотреть. Это масштабируемая база данных, которая позволяет использовать алгоритмы MapReduce.

Answer 3

Существует Hadoop-подобный фреймворк, построенный на Hadoop, придающий важность приоритетному выполнению итерационных алгоритмов.

Проверено. Я запустил пример WordCount на нем. Это очень очень похоже на Hadoop (особенно установка)

Вы можете найти статью здесь: http://rio.ecs.umass.edu/mnilpub/papers/socc11-zhang.pdf

и код здесь https://code.google.com/p/priter/

Надеюсь, это поможет

A

Answer 4

Возможным способом является использование org.apache.hadoop.hbase.MiniDFSCluster и org.apache.hadoop.mapred.MiniMRCluster, которые используются при тестировании самого hadoop.

Что они делают, это запускаютнебольшой кластер локально.Чтобы протестировать вашу программу, создайте hdfs-site.xml материалы, указывающие на локальный кластер, и добавьте их в ваш путь к классам.И этот локальный кластер похож на другой кластер, но меньше.Вы можете ссылаться на hadoop / src / test / * - site.xml в качестве шаблонов.

Для получения дополнительной информации взгляните на hadoop / src / test /.

Answer 5

Может быть. Но ни у одного из них не будет опыта тестирования в реальном мире, который делает Hadoop. Такие компании, как Facebook и Yahoo платят за масштабирование Hadoop, и я не знаю подобных проектов с открытым исходным кодом, на которые действительно стоит обратить внимание.