Сравните общее потребление кафки за последний день в Графане

Question

Я новичок в этой топи c.

Я нашел общее потребление для потребителя Kafka для определенной топики c и отображается на моей панели Grafana с помощью запроса ниже.

kafka_consumer_records_consumed_total_records_total {job = "$ application", instance = "$ instance", client_id = ~ "$ client_id", topic = ~ "$ topi c"}

Теперь я необходимо поставить предупреждение на один и тот же / или другой график, чтобы сравнить общее потребление за последний день для указанного c времени до указанного дня c времени потребления.

Пример: Предположим, что на сегодня общее потребление между временем 16 : От 00 до 16:05 - это 10K сообщений, и вчера было около 12K для того же времени ie, 16:00 - 16:05. Это показывает падение 2K сообщений в то же время по сравнению со вчерашним днем. Поэтому я хочу предупредить об этом.

Как мне этого добиться? Пожалуйста, помогите с запросом или какой-либо соответствующей ссылкой на то же самое.

Заранее спасибо за то же самое.

Answer 1

Вы можете сделать это, но тот факт, что вы потребляете 2К сообщений меньше, чем вчера, в определенный момент времени, не обязательно означает, что с вашим потребителем что-то пошло не так.
Это действительно зависит от ваших шаблонов трафика c - может быть, вы получаете меньше сообщений?

Если вы пытаетесь понять, получаете ли вы меньше данных, чем вчера, вы можете отслеживать BytesInPerSec и MessagesInPerSec.

Надлежащим способом мониторинга и оповещения о проблемах, связанных с потребителем, может быть мониторинг задержки.
Отставание в основном указывает, насколько далеко ваше приложение отстает в обработке данных в реальном времени.

При использовании сообщений от Kafka обычно используется группа потребителей.
Отставание группы потребителей - это разница между последним созданным сообщением (последнее доступное сообщение) и последним подтвержденным сообщением (последнее обработанное или прочитанное сообщение) сообщения. раздел. Например, если в разделе всего 130 сообщений, а мы зафиксировали до 100, то задержка группы потребителей для этого раздела составляет 30 сообщений / смещений.

source

Есть несколько вариантов - вы можете попробовать Burrow , Lightbend или Remora .
Вы можете узнать больше об этом topi c in Lightbend post или in Sematext post .