Получение сведений об использовании Kafka - PullRequest
Новая
       21

Получение сведений об использовании Kafka

0 голосов
/ 12 февраля 2019

Я пытаюсь найти способы получения текущей статистики использования для моего кластера kafka.Я собираю следующую информацию:

  1. Количество тем в кластере kafka
  2. Количество разделов на брокера kafka
  3. Количество активных потребителей и производителей
  4. Количество клиентских подключений на брокера kafka
  5. Количество сообщений в каждом разделе, размер диска и т. Д.
  6. Отстающие реплики, отставание потребителей и т. Д.
  7. Активные группы потребителей

Любая другая статистика, которую можно и нужно собирать, в настоящее время я смотрю на сбор вышеуказанной статистики.

Я могу получить 1 и 2, используя утилиты zookeeper, но я теряюсь на отдыхе,Я посмотрел на mbeans в Jconsole, но ничего не нашел выше.Я также попробовал JmxTool, чтобы получить эти mbean-компоненты с использованием выражений на основе регулярных выражений, но это также не сработало.

Я использую Kafka v2.1 и использую новые потребительские API, так что zookeeper не имеет никакой информации о потребителях.

Любые указатели будут очень полезны!

1 Ответ

0 голосов
/ 12 февраля 2019

Можно также использовать https://github.com/yahoo/kafka-manager или https://github.com/linkedin/cruise-control для получения этой информации.

В каталоге $ KAFKA_HOME / bin есть сценарии, которые могут вам помочь.

Количество тем в кластере kafka

. / Kafka-topics.sh --zookeeper localhost: 2181 --list

Количество разделов на брокера kafka

. / Kafka-topics.sh --zookeeper localhost: 2181 --описать

Количество сообщений в каждом разделе, размер диска и т. Д.

. / Kafka-log-dirs.sh --describe --bootstrap-server localhost: 9092

Отстающие реплики, отставание потребителя и т. Д.

./kafka-consumer-group.sh --bootstrap-server localhost: 9092 --group $ GROUP_NAME --describe

Активные группы потребителей Количество активных потребителей и производителей

Вы не можете получить активного продюсера. Известные производители по теме кафки

. / Kafka-consumer-group.sh --bootstrap-server localhost: 9092 --list

Количествоклиентские подключения для каждого брокера kafka

. /

...