Как получить логи для Hadoop RunningJob?

Question

Я запускаю работу в кластере Hadoop, используя JobClient, что дает мне указатель на RunningJob. Есть ли безболезненный способ получить вывод журнала только этой конкретной работы? Или мне нужно написать какой-нибудь код, чтобы копаться в каталоге журналов и сопоставлять имена с идентификатором задания?

Альтернативно, есть ли способ перенаправить вывод журнала для отдельного задания или все настройки в Hadoop настроены глобально?

Answer 1

Вы можете получить вывод конкретной работы на консоль своей текущей работы, если вы выводите код, который вы хотите, используя System.out.println внутри вашего Java-кода, в противном случае вам придется искать grep для JobID в журналах Hadoop.

Вы также можете использовать счетчики внутри вашей работы http://philippeadjiman.com/blog/2010/01/07/hadoop-tutorial-series-issue-3-counters-in-action/