Как создать среду Amazon EC2 в моей системе? - PullRequest
Новая
       32

Как создать среду Amazon EC2 в моей системе?

2 голосов
/ 21 февраля 2012

У меня есть этот проект hadoop, который кто-то еще написал (ссылка). У меня есть источник. Я хочу реализовать это на моем кластере (в основном 3 машины с Ubuntu). Но упомянутый проект работает на платформе EC2 (с дистрибутивом Cloudera).

Итак, что все я должен установить в своих системах, чтобы у него было программное обеспечение для запуска такого проекта?

Я думал о Cloudera Manager, Oracle Java.

1 Ответ

2 голосов
/ 21 февраля 2012

Если проект работает с дистрибутивом cloudera (не с EMR), вы можете установить cloudera, и все должно быть в порядке.Единственный поворот, который я могу ожидать как проблемный - если s3 использовался как файловая система.
Если проект действительно работает против s3, у вас есть два пути:
a) Попробуйте заменить s3 на hdfs и все имена файлов / пути, и он также должен работать нормально (если они жестко закодированы).
b) Установите OpenStack Swift, альтернативу S3 с открытым исходным кодом, а затем попытайтесь запустить Hadoop поверх него.Раскрытие: я участвую в проекте запуска hadoop на Swift.https://github.com/Dazo-org/swift

...