Визуализация мониторинга лагов потребителей Kafka

Question

Я новичок в Кафке. Во время изучения кафки, я считаю, что необходимо отслеживать отставание потребителей. При поиске в google и docs я нашел несколько способов.

1. Kafka - Prometheus - graphana
2. kafka - burrow - someDB - graphana
3. kafka - burrow_stat? (Я не могу понять, что это ..)
4. kafka - datadog. Я хочу спросить, в документе говорится, что норка предназначена для мониторинга. Могу ли я визуализировать как график (панель инструментов)? без других инструментов, таких как graphana, kibana или datadog ??

Я просто пытаюсь сократить количество шагов конвейера. Каким должен быть простой способ визуализировать отставание потребителя?

Answer 1

Для метрик в масштабе кластера вы можете использовать kafka_exporter (https://github.com/danielqsj/kafka_exporter), который предоставляет некоторые очень полезные метрики кластера (включая задержку потребителя) и легко интегрируется с prometheus и визуализируется с помощью grafana.

Answer 2

Если вы выполняете настройку в организации, возможно, это способ go - datadog или prometheus. Вы также можете фиксировать другие показатели, связанные с Kafka. Эти агенты также имеют интеграцию со многими другими инструментами, помимо Kafka, и будут хорошим обычным выбором для мониторинга. * просмотрите отставание, я считаю CMAK очень полезным (https://github.com/yahoo/CMAK). Это не имеет исторические данные, но обеспечивает хорошее текущее визуальное состояние кластера Kafka, включая задержку.