Есть ли API или инструмент для получения коэффициента приема пищи в теме Кафка

Question

Как я могу найти коэффициент потребления? т. е. количество событий / байтов не принимается каждую секунду / минутный интервал

Answer 1

Как уже упоминалось в другом ответе, Kafka экспортирует метрики через JMX, которые охватывают скорости ввода / вывода байтов, а также ряд других интересных данных. Подробнее см. В разделе Мониторинг в документации.

Рекомендуется собирать и отображать любые из этих метрик, если вы планируете запускать кластер Kafka.

Теперь, если вы просто хотите быстро получить эти значения во время разработки, у вас есть несколько других вариантов:

• jconsole: этот графический инструмент поставляется с JVM и может отображать все метрики JMX. ,

• kafka.tools.JmxTool: Этот инструмент CLI поставляется с Kafka и может печатать значения метрик JMX. Например, чтобы получить скорость загрузки брокера, выполните:

  ./bin/kafka-run-class.sh kafka.tools.JmxTool --object-name kafka.server:type=BrokerTopicMetrics,name=BytesInPerSec
  

Чтобы это работало, необходимо включить JVM для предоставления JMX на порт.

Answer 2

Вы можете использовать экспортер jmx в вашей настройке kafka и отправлять очищенные метрики в prometheus (временной ряд дБ).

Метрики в prometheus можно затем визуализировать в графане. Вы получите показатели уровня темы там, где вы можете увидеть потребление в секунду / минуту для каждой темы