Можно ли отслеживать показатели производителя / потребителя кафки в DCOS? - PullRequest
Новая
       124

Можно ли отслеживать показатели производителя / потребителя кафки в DCOS?

0 голосов
/ 20 марта 2019

Я пытаюсь сделать это без использования Confluent Control Center, так как у меня нет лицензии.

Я могу просматривать показатели Kafka Broker с помощью dcos task metrics details <broker-id> и видеть, что все ониуже выставлен на моем экземпляре DCOS Prometheus.

Однако я не вижу никаких метрик для потребителей / производителей, доступных на Prometheus, несмотря на то, что у некоторых производителей / потребителей есть задачи для dcos.

Есть ли процесс, которым я могу следовать, чтобы выставить метрики kafka prodcuer / customer на dcos?Я попробовал следующее https://github.com/ibm-cloud-architecture/refarch-eda/blob/master/docs/kafka/monitoring.md.

Но, насколько я понимаю, мы не можем использовать JMX для экземпляра Kafka, размещенного на DCOS (пока) (soruce: https://jira.mesosphere.com/browse/DCOS_OSS-3632?page=com.atlassian.jira.plugin.system.issuetabpanels%3Achangehistory-tabpanel)

Есть идеи?

1 Ответ

1 голос
/ 21 марта 2019

Вам нужно будет добавить экспортеры Prometheus JMX в каждый из ваших процессов Kafka Java, а затем вам потребуется, чтобы сервер Prometheus мог их очистить.Это можно сделать, загрузив этот JAR-файл в каждый из процессов (контейнеров?), А затем отредактировав переменную среды KAFKA_OPTS, включив параметр -javaagent

AFAIK, для этого не требуется устанавливать удаленно доступныйПорт JMX.

Примечание. Центр управления не отслеживает значения JMX.Он использует Kafka MetricsReporters и Interceptors.Использование этих интерфейсов, если вы решили написать свой собственный или найти другие, вообще не требует Control Center.

...