у нас есть кластер HDP - 2.6.4 с версией ambari 2.6.1
у нас есть 3 брокера kafka с версией 10.1 и 3 сервера zookeeper
, которые мы видели в / var / log/kafka/server.log много сообщений об ошибках как:
в этом примере мы имеем 6601 строк ошибок о:
This server is not the leader for that topic-partition
пример
[2019-01-06 14:56:53,312] ERROR [ReplicaFetcherThread-0-1011], Error for partition [topic1-example,34] to broker 1011:org.apache.kafka.common.errors.NotLeaderForPartitionException: This server is not the leader for that topic-partition. (kafka.server.ReplicaFetcherThread)
мы проверяем подключениемежду брокерами kafka и подключением, кажется, все в порядке (мы проверяем / var / log / messages и dmesg на машинах Linux kafka)
мы также подозреваем, что соединения между клиентом zookeeper на брокерах kafka исерверы zookeepers
но мы не знаем, как проверить отношения между клиентом на kafka и серверами zookeeper
мы также знаем, что kafka отправляет биение на серверы zookeeper (я думаю, что значение биения составляет 2 секунды)но мы не уверены, что это правильное направление для поиска причины исчезновения лидера.
.ader для раздела темы?
другие ссылки по теме
https://jar -download.com / artifacts / org.apache.kafka / kafka-clients / 0.10.2.0 / source-code/org/apache/kafka/common/protocol/Errors.java
kafka: один брокер ведет журнал печати информации: "NOT_LEADER_FOR_PARTITION"
https://github.com/SOHU-Co/kafka-node/issues/297