Какую библиотеку Map-Reduce и / или платформу использовать с Java - PullRequest
2 голосов
/ 05 февраля 2010

В последнее время я читал и слышал кое-что о облачных вычислениях и карт-уменьшении . Я думаю поиграть с некоторыми алгоритмами, чтобы получить практический опыт в этой области и посмотреть, что возможно прямо сейчас.

Вот что я хочу сделать: Я хотел бы использовать платформу общедоступного облака (например, Google App Engine, Google Map Reduce, Amazon ECS, Amazon Map Reduce), которая поставляется со встроенной функцией уменьшения карт, или, если она поставляется без встроенной поддержки, использовать дополнительную карту сокращения Java (например, Hadoop, Hive) и реализовать / развернуть некоторые алгоритмы.

Кто-нибудь накопил некоторый опыт в этой области и указал хороший момент для начала? Или назовите некоторые комбинации, которые хорошо сработали на практике?

Заранее спасибо!

Ответы [ 2 ]

2 голосов
/ 05 февраля 2010

Amazon EC2 имеет несколько предустановленных AMI Hadoop. См. Учебник Запуск Hadoop на Amazon EC2 .

В частности, на ум приходит дистрибутив Cloudera - он также поставляется с Pig и Hive.

1 голос
/ 05 февраля 2010

Apache Hadoop - это основная инфраструктура распределенных вычислений Java с открытым исходным кодом, включающая подпроект MapReduce , основанный на оригинальном Google MapReduce.

...