ПОЛУЧИТЬ ход выполнения задания Mapreduce после завершения задания

Question

введите описание изображения здесь Я разрабатываю приложение, которое может собирать информацию о ходе выполнения mpreduce для анализа. Первый способ - это синтаксический анализ файла журнала. Но это некрасиво… Есть ли какой-нибудь метод, например, hook или plugin, может это сделать

Answer 1

Вероятно, вы можете использовать API приложения YARN для получения большей части информации. См. Этот API приложения пряжи

Вот отрывок со страницы:

... Все параметры запроса для этого API будут фильтроваться по всем приложениям. Однако параметр запроса очереди будет неявно фильтровать только незавершенные приложения, которые в данный момент находятся в данной очереди.

Существуют и другие API YARN, которые вы можете использовать для достижения своей цели. Это, безусловно, лучше, чем сканирование файлов журнала.