У меня есть ряд тем по кафке со значительным отставанием для конкретной группы потребителей.Кажется, что новые сообщения могут быть опубликованы в теме и будут приниматься членами группы потребителей, но отставание останется.Перезапуск сервисов, использующих тему, не влияет на задержку.Попытки использовать сообщения с помощью kafka-console-consumer также не увенчались успехом.
Почему в теме такой лаг?Под лагом я имею в виду дельту между текущим смещением и последним смещением (теоретически сообщения чтения / подтверждения).Рассматриваемые темы имеют 50 разделов, но, как правило, только один потребитель читает из всех разделов
Описание одной из тем возвращает результат, подобный следующему:
kafka-consumer-groups --command-config ./client-ssl.properties --bootstrap-server localhost:9092 --group error-handler --describe
error.foo.bar 41 9 1126 1117 consumer-63-5b0fd4f0-5289-490f-8c6a-d2b336c4d4c4 /10.13.90.3 consumer-63
error.foo.bar 17 8 1126 1118 consumer-63-5b0fd4f0-5289-490f-8c6a-d2b336c4d4c4 /10.13.90.3 consumer-63
error.foo.bar 8 8 1125 1117 consumer-63-5b0fd4f0-5289-490f-8c6a-d2b336c4d4c4 /10.13.90.3 consumer-63
error.foo.bar 1 9 1127 1118 consumer-63-5b0fd4f0-5289-490f-8c6a-d2b336c4d4c4 /10.13.90.3 consumer-63
error.foo.bar 0 8 1125 1117 consumer-63-5b0fd4f0-5289-490f-8c6a-d2b336c4d4c4 /10.13.90.3 consumer-63
error.foo.bar 27 9 1127 1118 consumer-63-5b0fd4f0-5289-490f-8c6a-d2b336c4d4c4 /10.13.90.3 consumer-63
error.foo.bar 19 9 1127 1118 consumer-63-5b0fd4f0-5289-490f-8c6a-d2b336c4d4c4 /10.13.90.3 consumer-63
error.foo.bar 37 8 1126 1118 consumer-63-5b0fd4f0-5289-490f-8c6a-d2b336c4d4c4 /10.13.90.3 consumer-63
etc
В ответ на комментарий от StuartLCЯ не думаю, что это проблема с потребителем, который не поспевает за скоростью проникновения.Я говорю это потому, что текущее смещение и последнее смещение остаются статическими (они не изменились со вчерашнего дня).Кроме того, запуск дополнительных пользовательских экземпляров не влияет на отставание.Потребители темы перебалансированы, чтобы показать, что подключен дополнительный потребитель, но отставание остается тем же.