Кафка-подключение.Как включить метрики jmx для соединителей - PullRequest
Новая
       45

Кафка-подключение.Как включить метрики jmx для соединителей

0 голосов
/ 30 ноября 2018

Как включить метрики jmx для коннекторов Kafka?Я бегу подключен распределен.

Я включил метрики jmx для Kafka, включив JMX_PORT в kafka-run-class.sh.

Теперь, когда он начал давать мне много метрик, связанных с Kafka, я все еще не вижу метрики для коннекторов, упомянутые в ссылке ниже http://kafka.apache.org/documentation.html#connect_monitoring.

доступны следующие домены

  • JMImplementation
  • com.sun.management
  • java.lang
  • java.nio
  • java.util.logging
  • kafka
  • kafka.cluster
  • kafka.controller
  • kafka.coordinator.group
  • kafka.coordinator.transaction
  • kafka.log
  • kafka.network
  • kafka.server
  • kafka.utils

1 Ответ

0 голосов
/ 04 декабря 2018

Спрос, упомянутый в комментариях - Вы уверены , что вы подключены к правильному экземпляру Java, а не к методу Kafka broker JMX?Потому что kafka.server, ни kafka.controller не должно быть там для процесса ConnectDistributed.(Вы должны взглянуть на основной класс процесса, к которому вы подключены)

Существует только одно свойство, JMX_PORT, и оно совместно используется как брокерами Kafka, так и коннекторами Kafka (и Zookeeper, Schema Registry, KSQL,и т. д.) ... Если вы не используете разные порты для каждого, то каждый следующий процесс, который вы пытаетесь запустить, не запустится, говоря, что порт уже открыт

Если у вас есть доступное оборудованиеили иным образом изолировать компоненты на одном компьютере (Docker или VM), тогда это простой способ переназначить порты.

В противном случае вам нужно будет сделать что-то вроде 

export JMX_PORT=35000 # pick a number 
zookeeper-server-start...
export JMX_PORT=35001 # pick a number 
kafka-server-start... 
export JMX_PORT=35002 # pick a number 
connect-distributed...

Затем подключите к соответствующим портам для каждой JVM

Затем, когда вы будете удовлетворены этимЯ предложу найти Confluent Whitepaper в настройках развертывания производства, где Connect, по крайней мере (как и все другие производители и потребители), уходит от реальных брокеров.

...