Логи не отображаются в консоли :( [Вопрос Hadoop]

Question

Я пытаюсь отладить пример WordCount Cloudera Hadoop , но не могу.Я зарегистрировал маппер и класс редуктора, но в консоли не появляется журнал.

Я прикрепляю изображения.На первом изображении журналы Java регистрируются.

На втором изображении регистрируется результат.Он не появляется первым :( http://i56.tinypic.com/2eztkli.png

Кто-нибудь знает ?? Большое спасибо !!

Answer 1

Вы делаете "Jadoop Jar ...", поэтому вы начинаете свою работу с использованием фактического кластера Hadoop (возможно, одного узла).

Это означает, что все журналы выполняются кластером, а не на консоли.На консоли вы видите только индикатор прогресса.

Ваша работа разбита на одну или несколько задач карты и одну или несколько задач сокращения.Каждая из этих задач представляет собой отдельный процесс Java и будет иметь индивидуальное ведение журнала (которое состоит из нескольких файлов).

Вы можете найти эти файлы журналов в $ HADOOP_LOG_DIR / userlogs

Поскольку многоепараллельно, вы не хотите, чтобы эти лог-файлы были «одним» огромным лог-файлом.Это стало бы бесполезным беспорядком.

Теперь для изучения и разработки приложений hadoop есть более простой выход: просто запустите ваше приложение в локальном режиме, просто запустив его как обычное приложение Java: java -jar ...

Answer 2

О, это простое исправление.Используйте System.out.println (), а затем посмотрите на HTML-интерфейс Jobtracker.Перейдите к задаче, которая выполнила Map или Reduce, которая содержит println, и затем, если вы перейдете к отчету журнала для этой задачи, вы найдете свои выходные данные там.

Answer 3

Если вы хотите отобразить информацию в консоли, тогда выполните System.out.println ("бла"); в ваших заданиях на Java это хорошо работает, особенно при передаче аргументов (например, при использовании, если аргументы неверны) и при выполнении более чем одной отдельной работы в вашем фляге и т. д. Просматривать журналы Hadoop утомительно, лучше всего просто вставить консоль, если делают реальную работу.