Есть два способа, которыми мы отслеживаем прогресс Карты и Сокращаем работу.
Первый - это веб-интерфейс.
http://pdhadoop1:50030, где pdhadoop1 - это ваша машина наменоде.
В противном случае изнутри драйвера задания можно выполнитьвывод на консоль (или в другое место) После отправки задания мы вводим цикл while и проверяем соответствие job.isComplete().Внутри цикла мы делаем
System.out.println(String.format("Progress of Page views ETL Job %s:", job.getJobID().toString()));
System.out.println(String.format("\tMap : %f, Reduce %F", job.mapProgress(), job.reduceProgress()));
Затем мы Thread.sleep(60000) и цикл продолжается до тех пор, пока работа не будет завершена.
Благодаря обоим этим я могу наблюдать за ходом картыи сократить количество компонентов работы.
Веб-интерфейс позволяет просматривать журналы и дополнительную полезную информацию.Счетчики, записи, байты ... Очень хорошая функция.
Надеюсь, это поможет.:)
РЕДАКТИРОВАТЬ: Эта вики-страница http://wiki.apache.org/hadoop/WebApp_URLs содержит эти URL-адреса в списке
Отслеживание заданий можно найти по адресу http://localhost:50030
Отслеживание заданий можно найти по адресу http://localhost:50060
Обозреватель NameNode / Filesystem / log можно найти по адресу http://localhost:50070
SecondaryNameNode можно найти по адресу http://localhost:50090
I думаю, localhost isв зависимости от URL, который вы хотите посмотреть.Я не играл со всеми, я обычно использую 50030 и 50070;Оба из которых я указываю на мой namenode.