Потребительский кластер Apache Kafka вышел из строя

Question

У меня было настроено 3 Node Zookeeper и 3 Broker Cluster, когда один из моих брокеров выходит из строя в Cluster, производитель не выдает сообщение об ошибке, но потребители будут выдавать ошибку, говоря, что ...

Координатор маркировки Мертвый для группы ... Обнаружен координатор для группы.

Насколько мне известно, если какой-либо один брокер доступен в кластере, мне не следует прекращать потребление сообщений.

Но на данный момент Server.1, server.2, server.3, если мой server.2 выходит из строя, все мои потребители перестают потреблять сообщения.

Какие точные параметры нужно установить для достижения отработки отказапроизводителей, а также потребителей?

Answer 1

, если мой сервер.2 выходит из строя, все мои потребители перестают потреблять сообщения.

Для начала, вы отключаете неясные выборы лидера в брокерах и создаете свои темы с помощью --replication-factor=3 иконфигурация min.insync.replicas=2.

Чтобы убедиться, что у производителя есть как минимум две длительные записи (как установлено replcicas in-sync), затем установите acks=all

Затем, если какой-либо брокер завершится неудачно, и примите лидераВыборы не имеют никакой ошибки, производитель и потребитель должны, казалось бы, заново подключиться к новому лидеру TopicPartitions.