Оболочка для приложений Hadoop

Question

Существует ли оболочка для приложений Hadoop? Я имею в виду оболочку, которая превратила бы настройку Hadoop в отдельное приложение. Я понимаю, что это победит цель Hadoop. Однако это очень поможет в разработке приложений Hadoop.

Я знаю, что плагин Hadoop Netbeans позволяет создавать локальную среду Hadoop в приложении. Однако я ищу приложение, в котором вы можете использовать его в качестве прокси для своего приложения Hadoop в единой прикладной среде.

Answer 1

Все, что вам нужно, это Hadoop в CLASSPATH, и он будет работать в локальном режиме по умолчанию.

Answer 2

на apache hadoop wiki - это запись для отладки программ сокращения карт. Это может быть ответом на ваш вопрос

http://wiki.apache.org/hadoop/HowToDebugMapReducePrograms

Существует также блог Cloudera о том, как запустить hadoop в качестве модульного теста. http://www.cloudera.com/blog/2008/12/testing-hadoop/

Таким образом, вы можете настроить свою среду для выполнения программы сокращения карт в качестве модульного теста, чтобы увидеть, что происходит

Answer 3

При установке hadoop из файла tar.gz на одном узле по умолчанию выполняется все на локальном хосте. Отформатируйте hdfs (hadoop namenode -format), и start-all.sh должен это сделать.