Кафка потребительская лаг метрическая - PullRequest
Новая
       12

Кафка потребительская лаг метрическая

1 голос
/ 25 апреля 2020

Мы используем kafka 2.12.XXXX - и нам необходимо наблюдать, сколько потребителей лагов имеют на всех разделах топи c.
Является ли суммирование столбца LAG в ./kafka-consumer-groups.sh --describe точным представлением этого

1 Ответ

0 голосов
/ 25 апреля 2020

Да, используя сценарий kafka-consumer-groups. sh, вы можете получить информацию о задержке потребителей для данной группы потребителей. Суммирование значений в столбце LAG будет общим лагом для этой конкретной группы потребителей. 

➜  ~ sh $KAFKA_HOME/bin/kafka-consumer-groups -bootstrap-server localhost:9092 --describe --group test-group
Consumer group 'test-group' has no active members.

TOPIC                PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG             CONSUMER-ID     HOST            CLIENT-ID
test-topic           0          53              53              0               -               -               -
test-topic           1          53              53              0               -               -               -

Однако я бы предложил использовать инструмент командной строки, такой как kt ( source ), так как он быстрее и может предоставить вам вывод json, с которым будет проще работать. 

➜  ~ kt group -brokers localhost:9092 -topic test-topic -group test-group
found 1 brokers
found 1 groups
found 1 topics
found partitions=[0 1] for topic=test-topic
{
  "name": "test-group",
  "topic": "test-topic",
  "offsets": [
    {
      "partition": 0,
      "offset": 53,
      "lag": 0
    },
    {
      "partition": 1,
      "offset": 53,
      "lag": 0
    }
  ]
}

Клавиша lag в output - это задержка потребителя для каждого раздела для данной группы потребителей.

...