Запуск mapreduce jar на кластере Hadoop - PullRequest
Новая
       5

Запуск mapreduce jar на кластере Hadoop

1 голос
/ 09 апреля 2011

Я пытаюсь запустить карту уменьшения реализации алгоритма квадратичного сита в Hadoop. Для этого я использую плагин karmasphere Hadoop для сообщества Netbeans. Программа отлично работает с помощью плагина. Но я не могу запустить его на реальном кластере. Я запускаю эту команду 

             bin/hadoop jar MRIF.jar 689

Где MRIF.jar - это файл jar, созданный при построении проекта netbeans, а 689 - число, подлежащее факторизации. Каталоги ввода и вывода жестко запрограммированы в самой программе. При работе на реальном кластере, кажется, что внутренние классы Java не обрабатываются, поскольку сокращение завершается до 100% до того, как карта сама будет на 0%. И входные и выходные файлы создаются без содержимого.

Но это нормально работает при использовании плагина Karmasphere.

1 Ответ

1 голос
/ 13 апреля 2011

Попробуйте запустить его как bin/hadoop -jar MRIF.jar 689.-jar заставляет его работать локально и отображает информацию на консоли, а также журналы на эту машину.Вы также можете проверить журналы Hadoop, чтобы увидеть, есть ли у них какие-либо индикаторы того, почему это происходит неправильно.

При использовании -jar вы можете использовать System.out.println(...); для отображения информации на консоли, что также помогаетdebug.

Вы также можете использовать Hadoop Counters (ссылка - это случайная запись в блоге, которую я нашел), чтобы помочь в устранении неполадок при запуске (psuedo-) распределенного.

Я допускаюэтот пост не является «решением» проблемы;Без дополнительной / дополнительной информации о том, что происходит и где, существует широкий спектр вещей, которые могут происходить.Если, как вы упомянули, он не обрабатывает «внутренние классы Java», то, скорее всего, это будет ваша реализация, из которой мы не можем сделать предложения, т. Д.

Дополнительные сведения о проблеме, напримерпоскольку журналы, ошибки или выходные данные, скорее всего, помогут получить больше решений-ответов вместо отладочных советов.:)

РЕДАКТИРОВАТЬ: Спасибо за ссылку на файлы.Я думаю, что в вашем вызове отсутствует компонент.

Я посмотрел на run.sh и думаю, что это может заставить его работать на вас: 

bin/hadoop jar mrif.jar com.javiertordable.mrif.MapReduceQuadraticSieve 689
...