Kafka Consumer не восстанавливает соединение после отключения от координатора группы - PullRequest
1 голос
/ 16 января 2020

Это опрос пользователей высокого уровня каждые 1 сек. c. время сеанса 10 сек. Интервал сердцебиения 3 сек. Я ожидал, что потребитель автоматически восстановит соединение после истечения времени ожидания сеанса. Это ожидаемое поведение для librdkakfka, когда потребитель может просто тупо назвать «потреблять» в al oop, и любые отключения сети, подобные этому, должны автоматически обрабатываться библиотекой.

Я заметил, когда кластер выходит из строя и возвращается потребитель может автоматически восстановить соединение. Принимая во внимание, что в этом случае из-за проблем с локальной сетью, сердцебиение не было выполнено и было отключено. У производителей не было этой проблемы, когда проблема с сетью была решена за минуту, они смогли произвести кластеризацию без каких-либо проблем.

Из журналов

LOG- 5-REQTMOUT: [thrd: GroupCoordinator]: GroupCoordinator / 25: истекло время ожидания HeartbeatRequest в полете (после 10377 мс, время ожидания # 0) 0 повторных очередей, 0 вне очереди, 0 частично отправленных запросов ERROR (Local: Timed out): GroupCoordinator: 1 тайм-аут запроса (ов): отключение (после 3498718 мс в состоянии UP) RebalanceCb: Local: отменить разделы: LOG- 4-COMMITFAIL: [thrd: main]: сбой фиксации (unassign) для х / х разделов: Local: ожидание координатора: ERROR (Local: сбой транспорта брокера): ssl: // xxxx: p: сбой получения : Ошибка транспорта SSL: Тайм-аут соединения (после 3514121 мс в состоянии UP) ОШИБКА (Локальная: все соединения с брокером отключены): 11/11 брокеры не работают LOG-4-REQTMOUT: [thrd: GroupCoordinator]: GroupCoordinator / 25: Время d out 0 в полете, 0 повторных очередей, 2 out-queue, 0 частично отправленных запросов

...