Какой показатель jmx следует использовать для мониторинга состояния соединителя в kafka connect? - PullRequest
Новая
       35

Какой показатель jmx следует использовать для мониторинга состояния соединителя в kafka connect?

0 голосов
/ 11 мая 2018

Я использую следующие jmx метрики для kafka connect.

Ответы [ 2 ]

0 голосов
/ 24 мая 2018

Состояние коннектора доступно в разделе kafka.connect: type = connector-metrics.С jmxterm вы можете заметить, что атрибуты описываются как двойные, а не строки: 

$>info
#mbean = kafka.connect:connector=dev-kafka-connect-mssql,type=connector-metrics
#class name = org.apache.kafka.common.metrics.JmxReporter$KafkaMbean
# attributes
  %0   - connector-class (double, r)
  %1   - connector-type (double, r)
  %2   - connector-version (double, r)
  %3   - status (double, r)

$>get status
#mbean = kafka.connect:connector=dev-kafka-connect-mssql,type=connector-metrics:
status = running;

Это привело к журналам WARN от моего агента мониторинга: 

    2018-05-23 14:35:53,966 | WARN | JMXAttribute | Unable to get metrics from kafka.connect:type=connector-metrics,connector=dev-kafka-connect-rabbitmq-orders - status
java.lang.NumberFormatException: For input string: "running"
        at sun.misc.FloatingDecimal.readJavaFormatString(FloatingDecimal.java:2043)
        at sun.misc.FloatingDecimal.parseDouble(FloatingDecimal.java:110)
        at java.lang.Double.parseDouble(Double.java:538)
        at org.datadog.jmxfetch.JMXAttribute.castToDouble(JMXAttribute.java:270)
        at org.datadog.jmxfetch.JMXSimpleAttribute.getMetrics(JMXSimpleAttribute.java:32)
        at org.datadog.jmxfetch.JMXAttribute.getMetricsCount(JMXAttribute.java:226)
        at org.datadog.jmxfetch.Instance.getMatchingAttributes(Instance.java:332)
        at org.datadog.jmxfetch.Instance.init(Instance.java:193)
        at org.datadog.jmxfetch.App.instantiate(App.java:604)
        at org.datadog.jmxfetch.App.init(App.java:658)
        at org.datadog.jmxfetch.App.main(App.java:140)

Каждая система мониторинга может иметь различные исправления, но я подозреваю, что причина может быть одинаковой?

0 голосов
/ 11 мая 2018

Посмотрите на раздел Мониторинг подключений в документации Kafka, в нем перечислены все конкретные показатели Kafka Connect.

Например, есть общие показатели для каждого соединителя:

  • kafka.connect:type=connector-metrics,connector="{connector}", который содержит состояние соединителя (работает, неисправен и т. Д.)

  • kafka.connect:type=connector-task-metrics,connector="{connector}",task="{task}", который содержит состояние отдельных задач

Если вы хотите больше, чем просто статус, есть также дополнительные метрики для задач-приемников и источников:

  • kafka.connect:type=connector-task-metrics,connector="{connector}",task="{task}"
  • kafka.connect:type=sink-task-metrics,connector="{connector}",task="{task}"
...