Коэффициент дисбаланса лидера на брокере приводит к каскадному отключению брокера - PullRequest
Новая
       9

Коэффициент дисбаланса лидера на брокере приводит к каскадному отключению брокера

0 голосов
/ 04 февраля 2020

У нас есть кластер Kafka из 3 брокеров с несколькими темами с коэффициентом репликации 3.

Случилось так, что один или несколько брокеров Kafka автоматически отключились.

Сервер Файл .log содержит сообщение Controlled Shutdown: 

[2020-02-04 17:25:36,156] INFO [KafkaServer id=10] Controlled shutdown succeeded (kafka.server.KafkaServer)

Но, файл controller.log сгенерирован ниже TRACE, указывая на коэффициент дисбаланса лидера 

[2020-02-04 17:25:23,350] TRACE [Controller id=10] Leader imbalance ratio for broker 9 is 1.0** (kafka.controller.KafkaController)
[2020-02-04 17:25:23,351] INFO [Controller id=10] Starting preferred replica leader election for partitions  (kafka.controller.KafkaController)
[2020-02-04 17:25:36,095] INFO [Controller id=10] Shutting down broker 10 (kafka.controller.KafkaController)
[2020-02-04 17:25:36,096] DEBUG [Controller id=10] All shutting down brokers: 10 (kafka.controller.KafkaController)
[2020-02-04 17:25:36,096] DEBUG [Controller id=10] Live brokers: 11 (kafka.controller.KafkaController)
[2020-02-04 17:25:36,127] DEBUG The stop replica request (delete = false) sent to broker 10 is StopReplicaRequestInfo([Topic=ml22-4,Partition=0,Replica=10],false),StopReplicaRequestInfo([Topic=__co

Что может быть причиной этой проблемы который запускает автоматическое c отключение брокеров kafka, а также Kafka не обрабатывает его внутренне.

...