Перезапускает ли Kafka Consumer и повторно подписывается на темы после того, как кластер выключается и возвращается обратно

Question

потребитель kafka, использующий librdkafka (потребитель высокого уровня), подключен к кластеру kafka и подписан на 10 тем и использует данные. Произошло событие назначения разделов.

Была проблема с сетью, из-за которой кластер был недоступен. Потерянная связь с координатором группы и сердцебиение застряли. Произошло событие отмененных разделов, когда код вызывает unassign для потребителя.

Когда кластер вернулся, потребитель не потреблял никаких данных, хотя его истинный вызов l oop потребляет со временем ожидания 1 se c.

Нужно ли потребителю повторно подписываться на темы после его подключения к кластеру? Какой надежный способ обнаружения потребителя связан с кластером в коде?

Answer 1

Нужно ли потребителю повторно подписываться на темы после его подключения к кластеру?

Да. Новые члены группы вызовут перебалансировку среди существующих участников, и они должны будут повторно подписаться

Какой надежный способ обнаружить, что потребитель подключен к кластеру в коде?

Вы могли бы описать группу потребителей и посмотреть, есть ли активные клиенты для интересующей вас группы потребителей