Вы можете использовать пользовательский интерфейс Yarn Resource Manager , который обычно доступен через порт 8088 вашего менеджера ресурсов (хотя порт можно настроить). Здесь вы получите обзор своего кластера.
Подробную информацию об узлах кластера можно найти в этом пользовательском интерфейсе в меню Кластер , подменю Узлы . Здесь можно найти информацию о работоспособности, некоторую информацию об оборудовании, текущих выполняемых заданиях и версию программного обеспечения диспетчера узлов. Для получения более подробной информации вам необходимо войти в каждый узел и проверить журналы менеджера узлов (для узла, на котором работает менеджер ресурсов, этот журнал также доступен через меню Инструменты -> Локальные журналы , но этого будет недостаточно, если в вашем кластере более одного узла).
Более подробная информация о диспетчере ресурсов (включая статистику времени выполнения) доступна в меню Инструменты -> Метрики сервера .
Если вы хотите получить доступ к этой информации программно, вы можете использовать REST API Resource Manager *1022*.
Другим вариантом может быть использование Ambari . Эти инструменты представляют собой инструмент управления Hadoop, который можно использовать для мониторинга различных служб в кластере Hadoop и для запуска предупреждений в случае необычных или неожиданных событий. Однако для этого требуются некоторые усилия по установке и настройке.