Hadoop Mapper не работает мой класс - PullRequest
0 голосов
/ 06 февраля 2012

Использование Hadoop версии 0.20. Я создаю цепочку заданий job1 и job2 (преобразователи которых находятся в x.jar, редуктора нет), с зависимостью и передачей в кластер hadoop с помощью JobControl.Примечание. У меня есть setJarByClass, а getJar выдает правильный файл jar, когда проверяется перед отправкой.

Отправка завершена, и, похоже, нет ошибок в журналах пользователей и отслеживании заданий.Но я не вижу, чтобы мой Mapper выполнялся (без sysouts или log output), но вывод по умолчанию, похоже, поступает в выходную папку (входной файл читается как есть и выводится).Я могу запустить задание напрямую с помощью x.jar, но я действительно не знаю, почему оно не работает с Jobcontrol.

Пожалуйста, помогите!

1 Ответ

0 голосов
/ 09 марта 2012

Эта проблема беспокоила меня уже несколько дней. В конце концов я обнаружил, что именно UsedGenericOptionsParser создал проблему. Установите значение true и все начало работать нормально.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...