Kafka Producer / Consumer переподключается после сбоя узла kafka

Question

У меня есть несколько потребителей и производителей kafka (Spring boot), что, когда узел Kafka, к которому они были подключены, выходит из строя (например, сбой), они регистрируют это:

2019-03-15 11: 02: 53.278 ПРЕДУПРЕЖДЕНИЕ 1 --- [tainer # 1-23-C-1] org.apache.kafka.clients.NetworkClient: [Потребитель clientId = consumer-29, groupId = OperationsConsumer] Ошибка подключения к узел kafka-0.kafka-headless.test.svc.cluster.local: 9092 (id: 1001 стойка: ноль)

java.io.IOException: Не удается разрешить адрес: Кафка-0.kafka-headless.test.svc.cluster.local: 9092

Но тогда они не пытаются повторно подключиться к действительному узлу kafka, даже если я явно установил узлы в свойстве bootstrap.servers.

Как заставить моего потребителя повторно подключиться к действительному узлу kafka после сбоя узла kafka, к которому они подключились?

Answer 1

На основе имени хоста похоже, что вы используете Kubernetes

Это очень сложно в Кубернетесе.

1-я попытка сделать telnet hostname 9092, если это работает, тогда это проблема конфигурации Kafka, в противном случае это проблема установки kubernetes

Answer 2

Проверьте свойства повторного подключения:

• reconnect.backoff.ms
• reconnect.backoff.max.ms

… как указано в Kafka docs

Вы позволили им пройти до оценки успеха переподключения?

В bootstrap.servers необходим хотя бы еще один узел, кроме нижнего, чтобы иметь шансдля новых подключений.Пожалуйста, проверьте также, все ли ваши узлы обмениваются данными через один и тот же Zookeeper (и), а сама установка Kafka в порядке.