Кафка отказоустойчивость - координатор группы - PullRequest
0 голосов
/ 30 мая 2018

Как я понимаю, один из брокеров выбран в качестве координатора группы, который занимается перебалансировкой потребителей.

Discovered coordinator host:9092 (id: 2147483646 rack: null) for group good_group

У меня 3 узла с коэффициентом репликации 3 и 3 раздела.Все отлично, и когда я убиваю кафку на некоординирующих узлах, потребитель все еще получает сообщения.

Но когда я убиваю этот конкретный узел с помощью координатора, перебалансировка не происходит, и мое потребительское приложение java не получает никаких сообщений.

2018-05-29 16:34:22.668 INFO  AbstractCoordinator:555 - Discovered coordinator host:9092 (id: 2147483646 rack: null) for group good_group.
2018-05-29 16:34:22.689 INFO  AbstractCoordinator:600 - Marking the coordinator host:9092 (id: 2147483646 rack: null) dead for group good_group
2018-05-29 16:34:22.801 INFO  AbstractCoordinator:555 - Discovered coordinator host:9092 (id: 2147483646 rack: null) for group good_group.
2018-05-29 16:34:22.832 INFO  AbstractCoordinator:600 - Marking the coordinator host:9092 (id: 2147483646 rack: null) dead for group good_group
2018-05-29 16:34:22.933 INFO  AbstractCoordinator:555 - Discovered coordinator host:9092 (id: 2147483646 rack: null) for group good_group.
2018-05-29 16:34:23.044 WARN  ConsumerCoordinator:535 - Auto offset commit failed for group good_group: Offset commit failed with a retriable exception. You should retry committing offsets. 

Я делаю что-то не так и есть ли способвокруг этого?

1 Ответ

0 голосов
/ 30 мая 2018

Но когда я убиваю этот конкретный узел с помощью координатора, перебалансировка не происходит, и мое потребительское приложение java не получает никаких сообщений.

Координатор группы получает пульсы от всех потребителей вгруппа потребителей.Он ведет список активных потребителей и инициирует изменение баланса при изменении этого списка.Затем лидер группы выполняет операцию перебалансировки.

Именно поэтому перебалансировка прекратится, если вы убьете координатора группы.

ОБНОВЛЕНИЕ

В случаео том, что брокер-координатор группы закрывается, Zookeeper будет уведомлен, и выборы начнут автоматически назначать нового координатора группы из активных брокеров.Так что ничего общего с координатором группы.Давайте посмотрим журнал:

2018-05-29 16:34:23.044 WARN  ConsumerCoordinator:535 - Auto offset commit failed for group good_group: Offset commit failed with a retriable exception. You should retry committing offsets.

Коэффициент репликации внутренней темы __ consumer_offset , вероятно, имеет значение по умолчанию 1. Вы можете проверить, какое значение default.replication.factor и offsets.topic.replication.factor находятся в файлах server.properties.Если значения по умолчанию равны 1, его следует изменить на большее.В противном случае координатор группы завершает работу, в результате чего диспетчер смещений останавливается без резервного копирования.Так что активность совершения смещений не может быть выполнена.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...