кафка-монитор с графитом - PullRequest
Новая
       12

кафка-монитор с графитом

0 голосов
/ 04 марта 2019

Я настроил экземпляр kafka-monitor со службой вывода графита, а также со стандартным обслуживанием причала.Служба причала работает нормально - все диаграммы в прямом эфире.Графического сервиса отчетов не так много.Часть конфигурации монитора ниже: 

{                                                                                                                                   
  "single-cluster-monitor": {                                                                                                       
    "class.name": "com.linkedin.kmf.apps.SingleClusterMonitor",                                                                     
    "topic": "kafka-monitor-topic",                                                                                                 
    "zookeeper.connect": "node1:2181,node2:2181,node3:2181",                                                                                    
    "bootstrap.servers": "node1:9092,node2:9092,node3:9092",                                                                                    
    "produce.record.delay.ms": 100,
    "topic-management.topicCreationEnabled": true,
    "topic-management.replicationFactor" : 1,
    "topic-management.partitionsToBrokersRatio" : 2.0,
    "topic-management.rebalance.interval.ms" : 600000,
    "topic-management.topicFactory.props": {
    },
    "topic-management.topic.props": {
      "retention.ms": "3600000"
    },
    "produce.producer.props": {
      "client.id": "kmf-client-id"
    },

    "consume.latency.sla.ms": "20000",
    "consume.consumer.props": {

    }

  },

 "jetty-service": {
    "class.name": "com.linkedin.kmf.services.JettyService",
    "jetty.port": 8000
  },

  "graphite-service": {
      "class.name": "com.linkedin.kmf.services.GraphiteMetricsReporterService",
      "report.graphite.host": "graphitenode",
      "report.graphite.port": "2003",
      "report.graphite.prefix": "kafka-monitor",
      "report.interval.sec": 5,
      "report.metrics.list": [
#         "kmf:type=kafka-monitor:offline-runnable-count",
          "kmf.services:type=produce-service,name=*:produce-availability-avg",
          "kmf.services:type=consume-service,name=*:consume-availability-avg",
          "kmf.services:type=produce-service,name=*:records-produced-total",
          "kmf.services:type=consume-service,name=*:records-consumed-total",
          "kmf.services:type=consume-service,name=*:records-lost-total",
          "kmf.services:type=consume-service,name=*:records-duplicated-total",
          "kmf.services:type=consume-service,name=*:records-delay-ms-avg",
          "kmf.services:type=produce-service,name=*:records-produced-rate",
          "kmf.services:type=produce-service,name=*:produce-error-rate",
          "kmf.services:type=consume-service,name=*:consume-error-rate"
     ]
  }
}

Итак, в двух словах: - Сервис Jetty работает нормально - Graphite собирает много метрик на заданном порте, исключая каким-то образом метрики из монитора Kafka (Не удается найти их через WebUI) -Утилита TCPDUMP помогла мне подтвердить, что пакеты действительно достигают заданного порта

Есть идеи, что может быть не так с этой настройкой?Есть ли еще способы найти проблему?

...