kafka_exporter не отправляет метрики прометею - PullRequest
Новая
       26

kafka_exporter не отправляет метрики прометею

0 голосов
/ 09 июля 2019

Можете ли вы помочь мне с моей установкой? У меня кластер кафки на 3 узла: кафка1: 9092, кафка2: 9092, кафка3: 9092 И я хочу получить метрики из этих узлов. Я скачал node_exporter и установил его на одном узле - kafka1. Мой сервисный файл последней версии: 

[Unit]
Description=Prometheus exporter for kafka.
Documentation=https://github.com/danielqsj/kafka_exporter
After=network.target

[Service]
Type=simple
User=prometheus
ExecStart=/usr/sbin/kafka_exporter --kafka.server=kafka1:9092 --kafka.server=kafka1:9092 --kafka.server=kafka1:9092
Restart=on-failure

[Install]
WantedBy=multi-user.target

сервер node_exporter запускается нормально, я вижу в журнале: 

Jul 09 18:08:33 kafka1 systemd[1]: Started Prometheus exporter for kafka..
Jul 09 18:08:33 kafka1 kafka_exporter[5391]: time="2019-07-09T18:08:33+03:00" level=info msg="Starting kafka_exporter (version=1.2.0, branch=non-git, revision=non-git)" source="kafka_exporter.go:474"
Jul 09 18:08:33 kafka1 kafka_exporter[5391]: time="2019-07-09T18:08:33+03:00" level=info msg="Build context (go=go1.9.4, user=mockbuild@44b00b1726084a939a040a64de97977c, date=20180912-11:02:53)" source="kafka_expor
Jul 09 18:08:33 kafka1 kafka_exporter[5391]: time="2019-07-09T18:08:33+03:00" level=info msg="Done Init Clients" source="kafka_exporter.go:213"
Jul 09 18:08:33 kafka1 kafka_exporter[5391]: time="2019-07-09T18:08:33+03:00" level=info msg="Listening on :9308" source="kafka_exporter.go:499"

В настройке Prometheus я добавил работу: 

  - job_name: 'Kafka exporter'
    static_configs:
    - targets: [
        '172.29.15.30:9308'
        ]

И я вижу в prometheus Это задание и цель - оно в состоянии UP, но страница http://172.29.15.30:9308/metrics не загружается. Это дает мне ERR_CONNECTION_TIMED_OUT Ошибка.

Если я добавлю неверный файл kafka.server, kafka_Exporter остановится после запуска с ошибкой: 

ERRO[0000] Error Init Kafka Client                       source="kafka_exporter.go:210"
panic: kafka: client has run out of available brokers to talk to (Is your cluster reachable?)

Потому что я думаю, это видит кластер кафки.

Что я сделал не так? Что я должен устранить неисправность?

1 Ответ

0 голосов
/ 09 июля 2019

Кафка не отправляет метрики в Прометей. Сервер Prometheus будет получать метрики из вашего API метрик.

Но я могу порекомендовать использовать официальный экспортер JMX.

Сначала скачайте агент: 

wget https://repo1.maven.org/maven2/io/prometheus/jmx/jmx_prometheus_javaagent/0.9/jmx_prometheus_javaagent-0.9.jar

Тогда это файл yaml: 

wget https://github.com/prometheus/jmx_exporter/raw/master/example_configs/kafka-2_0_0.yml

Теперь вам нужно установить KAFKA_OPTS переменную окружения для запуска этого экспортера: 

[Service]
...
Restart=no
**Environment=KAFKA_OPTS=-javaagent:/home/morteza/myworks/jmx_prometheus_javaagent-0.9.jar=7071:/home/morteza/myworks/kafka-2_0_0.yml**

Это сводка Мониторинг Apache Kafka с использованием Grafana и Prometheus article

...