Можно ли сохранить данные Hadoop Counter в HDFS?

Question

Я хотел бы использовать данные счетчика программно.Это возможно?Данные могут быть сохранены в HDFS.

Answer 1

В основной функции вашей работы после ее завершения вы можете программно брать счетчики с работы и затем сохранять их в HDFS.
Таким образом, ваш код в основном будет выглядеть так:

    ...
job.waitForCompleteion();
// read counters looks something like this:
 Counters c = job.getCounters();
 Counter cnt = c.findCounter("YouCounterName");
 // counter has getName() and getValue() methods    
...
// save to hdfs 
...