Я возился с паузой / возобновлением работы.Одна проблема, с которой я столкнулся, возникла для новых групп потребителей, где я должен был сделать паузу сразу, прежде чем потреблять какие-либо записи.
Когда я сразу приостанавливаю потребителей для новой группы потребителей и начинаю производить записи, я обычно вижуLAG увеличение счетчика на разделах.Тем не менее, поскольку это новая группа потребителей, я предполагаю, что она не знает ее CURRENT-OFFSET, поэтому она не знает, как отслеживать LAG.
Просто заметьте, я использую $ bin/kafka-consumer-groups.sh --describe чтобы проверить смещения и задержки для каждой группы потребителей.
Для более старой группы потребителей, где потребители уже обработали несколько записей, разделы обновят CURRENT-OFFSET, поэтому я смогу увидеть счетчик LAGидти вверх, когда я создаю больше записей, пока потребители находятся в режиме паузы или выключены.
Я использую по умолчанию auto.offset.reset «последний» и хочу избежать использования «самого раннего», так как я не хочу использовать изначало для новых групп потребителей.
Еще один побочный вопрос на тему паузы / возобновления, и он, вероятно, больше связан с библиотекой node-rdkafka и библиотекой rdkafka.При возобновлении тематических разделов для потребителей группы я пытался передать только имя темы и номер раздела (без смещения).Тем не менее, мое резюме, кажется, не работает, хотя никаких ошибок не выдается.Мне интересно, имеет ли это отношение к отправке без смещения?
Я думаю, что это странное поведение, потому что я думаю, что резюме возобновит работу потребителя для данного раздела, где он остановился, и потребляет любое LAG накопленное.