Кафка отслеживать потребительский прогресс

Question

У меня есть одна тема Кафки и четыре группы потребителей. В каждой группе может быть разное количество узлов, потребляющих. Разные группы могут потреблять с разной скоростью, а некоторые могут отставать, но я хочу знать, если это произойдет и насколько далеко позади. Я хочу отследить, насколько далеко каждая группа использует эту тему. Могу ли я получить смещение у каждого потребителя и записать это в метрику. Или смещение не будет отличным показателем, так как оно может быть различным в разных разделах, и мне нужно сделать что-то другое. Кстати будет довольно много разделов.

Есть и другие вещи, которые я могу сделать, но предпочел бы не изменять полезную нагрузку, чтобы добавить счетчик или метку времени, если есть более простой способ?

Спасибо.

Answer 1

Вы хотите измерить то, что известно как потребительское отставание . Есть несколько способов получить эту информацию, включая (но не ограничиваясь):

• Внешний сервис, который отслеживает, и вы можете запросить напрямую - https://github.com/linkedin/Burrow
• В Kafka включены утилиты командной строки, которые могут показать эту информацию. В частности, kafka-consumer.groups.sh имеет параметр --offsets, который будет отображать последние темы, а также отставание потребителя.
• Вы можете программно запрашивать Kafka, чтобы получить последние смещения, а также последние потребленные смещения на группу потребителей.