Как получить счетчики в Hadoop

Question

Я использую версию 0.20.2 для MultipleOutputFormat,
и хотите извлечь счетчики после завершения задания.

Я пытался найти в Google несколько полезных и практических примеров, но не смог.
Кто-нибудь может показать простой пример?

Answer 1

Если вы отправляете свою работу следующим образом:

  Configuration conf = new Configuration();
  Job job = new Job(conf);

  job.waitForCompletion(true);

И она завершена (вы можете вызвать ее даже тогда, когда она запущена, но результаты не будут окончательными, поскольку работа еще не завершена).пока не завершено.), вы можете получить счетчики, используя:

long counter = job.getCounters().findCounter(ExplorationReducer.UpdateCounter.UPDATED)
    .getValue();

Это имя счетчика перечислений, которое я использовал в своей работе:

ExplorationReducer.UpdateCounter.ОБНОВЛЕНО

Если вам нужен весь счетчик, вы должны пройти через структуру поддержки позади объекта Counters.Для этого есть итератор.