Доступ к конфигурации / статистике MapReduce для регистрации и анализа

Question

Мы работаем над сбором статистики с нашей карты сокращения рабочих мест. Мы собираемся использовать счетчики для некоторых вещей, но мне интересно, есть ли какой-нибудь способ доступа к статистике в веб-интерфейсе, такой как вставленные строки, чтение / запись байтов и т. Д., Таким образом, чтобы мы могли поместить их в базу данных для последующего осмотра.

Как веб-интерфейс собирает все эти данные, и можем ли мы использовать эти собранные данные таким образом, чтобы не включать анализ загруженного представления отчета в формате html? Например, файл, выведенный заданием?

Answer 1

Вот учебник для доступа к счетчикам заданий. Вот код для извлечения счетчиков с заданным идентификатором вакансии.

JobId jobId = новый JobId ("12345", 0);
Кластерный кластер = новый кластер (новая конфигурация ());

Job job = cluster.getJob (jobId);
Счетчики счетчики = job.getCounters ();

Counter counter = counters.findCounter (JobCounter.NUM_FAILED_REDUCES);
long failedTasks = counter.getValue ();

После того, как счетчики были получены, поместите их в БД и отобразите их в пользовательском интерфейсе.

Помимо пользовательских счетчиков JobCounter и TaskCounter - некоторые из определенных счетчиков Hadoop.