Новая архитектура MapReduce и Eclipse - PullRequest
Новая
       33

Новая архитектура MapReduce и Eclipse

4 голосов
/ 15 августа 2011

Hadoop вокруг MapReduce происходит некоторая ре-факторинг.Подробную информацию об этом можно найти в приведенном ниже JIRA.

https://issues.apache.org/jira/browse/MAPREDUCE-279

. Имеет демоны ResourceManager, NodeManager и HistoryServer.Кто-нибудь пробовал запускать их в Eclipse?Это облегчит разработку и отладку.

Я отправил письмо на форумах Hadoop, и никто не пробовал его.Просто хотел проверить, не делал ли кто-то нечто подобное в stackoverflow.

Ответы [ 2 ]

0 голосов
/ 23 января 2012

Nourl Дождаться завершения https://issues.apache.org/jira/browse/MAPREDUCE-3131. В любом случае вы можете проверить ревизию и попробовать запустить ее.

Вам потребуется mvn site: site для создания документа, в котором есть все документы. А чтобы выяснить как? Вы можете открыть сценарии debug.sh и убедиться в этом сами.

По сути, мы передаем JAVA_OPTIONS и задаем параметры удаленной отладки eclipse. Это становится сложным для дочерних процессов, поскольку для этого нужно указать свойство mapred.child.java.opts.

НТН

-P

0 голосов
/ 24 декабря 2011

Я пытался запустить YARN (следующее поколение mapreduce) на моем хосте в течение нескольких дней.

Во-первых, получите исходный код от apache.org, используя svn или git. возьмите svn например: 

svn co https://svn.apache.org/repos/asf/hadoop/common/branches/branch-0.23.0

затем создайте файлы, связанные с затмением, используя maven (вы должны настроить manve3 на вашем хосте до этого шага.) 

mvn test -DskipTests

mvn eclipse:eclipse -DdownloadSources=true -DdownloadJavadocs=true

и теперь вы можете импортировать существующий проект maven в eclipse. (Сначала вы должны настроить плагин maven в eclipse.)

В затмении: Файл-> Импорт существующих проектов Maven 

Choose "Existing Projects into Workspace"
Select the hadoop-mapreduce-project directory as the root directory
Select the hadoop-mapreduce-project project
Click "Finish"

Я пытался много раз из-за того, что class_path / build_path был неправильно настроен и не включал весь пакет / класс зависимостей. Попробуйте «Добавить папку внешнего класса» и выберите каталог сборки текущего проекта в разделе «Свойства проекта», если вы столкнулись с той же проблемой, что и я.

обновление: 2012-03-15

Теперь я могу запустить YARN (так же, как Hadoop0.23) в затмении.

Во-первых, вы должны успешно скомпилировать / собрать Yarn командой exec: 

mvn clean package -Pdist -Dtar -DskipTests

По той причине, что меня волнует только способ отладки YARN, я запускаю HDFS на своем единственном хосте в терминале linux, а не в eclipse. 

bin/hdfs namenode -formate -clusterid your_hdfs_id
sbin/hadoop-daemon.sh start namenode
sbin/hadoop-daemon.sh start datanode

и затем импортируйте hadoop 0.23 в eclipse и найдите resourcemanager.java, следующий шаг - запустить этот класс в eclipse. Подробные шаги:

  • щелкните правой кнопкой мыши и выберите запустить как приложение

  • добавить новую конфигурацию для запуска этого класса, в части аргументов заполните содержанием:

    - config your_yarn_conf_dir (аналогично каталогу HDFS)

  • нажмите кнопку запуска, вы увидите вывод менеджера ресурсов в консоли eclipse.

Запуск Nodemanaer в Eclipse аналогичен запуску Resourcemanager. Добавьте новую конфигурацию и заполните аргументы "--config your_yarn_conf_dir", затем нажмите кнопку запуска.

Счастливое кодирование ~!

...