Получение метрик JMX от Dataproc

Question

Я установил Stackdriver, установил агент мониторинга и следовал этому руководству для мониторинга JVM https://cloud.google.com/monitoring/agent/plugins/jvm

Однако я не могу получить доступ к метрикам JMX из Datapro c, в частности HeapMemoryUsage.

Я скачал jvm-sun-hotspot.conf из репозитория конфигурации GitHub и поместил его в каталог /opt/stackdriver/collectd/etc/collectd.d/

Он просит меня отредактировать скачайте файл конфигурации и замените JMX_PORT на порт, на котором ваша JVM настроена для разрешения соединений JMX.

Где я могу найти этот порт? Нужно ли настраивать приложение для мониторинга метрик JMX?

Answer 1

К сожалению, мониторинг JVM, который обеспечивает мониторинг Stackdriver, основан на JMX, и поэтому он создает проблему, когда Spark участвует, поскольку два исполнителя совместно используют один хост и конкурируют за один и тот же порт JMX.

Однако другой решение может быть с помощью встроенного в Spark мониторинга :

• Сконфигурировать искру для использования StatsdSink .
• Мониторинг Stackdriver имеет Плагин Stats , реализующий протокол StatsD , который может использовать метрики и сообщать о них в Stackdriver.