Hadoop 0.20.2 Eclipse-плагин не полностью функционирует - не может работать на Hadoop

Question

Я только что закончил установку Hadoop 0.20.2 под Cygwin на Windows 7 с Eclipse Helios (3.6). Hadoop полностью запущен, и я пытаюсь запустить тестовое приложение во вновь созданном тестовом проекте MapReduce в Eclipse. Я использую плагин Hadoop 0.20.2 из загрузки Hadoop.

Проекция Map / Reduce Location работает правильно, как и дерево DFS Locations в Package Explorer. Однако, когда я щелкаю правой кнопкой мыши по драйверу, выбираю «Запуск от имени»> «Запустить на Hadoop», ничего не происходит и на консоли не появляются ошибки (silent fail :(). Я полагаю, что должно появиться диалоговое окно с запросом конфигурации перед работает, но этого не происходит.

Кажется, есть еще несколько человек с такой же проблемой, но я еще не нашел ответ, который работает. Я попробовал плагин 0.20.1 (полный сбой). Следующий отчет об ошибке, похоже, описывает мою проблему, хотя я немного новичок во всем этом, поэтому могу помочь с помощью опыта / голоса, чтобы помочь: https://issues.apache.org/jira/browse/MAPREDUCE-1280

Answer 1

Плагин hadoop eclipse в комплекте с дистрибутивом hadoop совместим с eclipse до версии 3.3.JIRA-ticket MAPREDUCE-1280 содержит исправление для запуска плагина в eclipse 3.4 и выше.

Я только что скомпилировал исправленный плагин с исправлениями из JIRA-ticket MAPREDUCE-1280 .Файл прикреплен к заявке.Вы можете найти его здесь .

Просто удалите старый плагин из вашей установки eclipse и поместите новую версию плагина в папку dropins вашей установки eclipse.

После обновления с более старой версии плагина вы должны будете начать затмение с помощью ключа командной строки "-clean".Справку по ключам командной строки eclipse можно найти здесь .

Answer 2

Я не знаю, был ли плагин обновлен или нет, но, насколько я знаю, он не обслуживается в нескольких предыдущих выпусках.

Одним из решений является то, что вы должны загрузить исходный код и попытаться повторно скомпилировать файл jar для этого плагина (для последней версии eclipse), однако я не пробовал его, поэтому не знаю, является ли он работает.

Может быть, вы можете попробовать использовать Karmasphere.

Answer 3

askswOrder правильно, что плагин Eclipse не привлекал к себе внимание в течение достаточно долгого времени. JIRA, на которую вы ссылаетесь, исправляет проблему, но она применяется только к Hadoop 20.3 и выше. Один из вариантов - попытаться применить патч к 20.2 и перекомпилировать, но это довольно много требует от новичка. Я бы поддержал предложение использовать Karmasphere; Это отличный продукт для работы с MapReduce, и эти люди взяли на себя постоянную работу с выпусками Hadoop.