темы кафки не сбалансированы после перезапуска брокеров кафки - PullRequest
Новая
       27

темы кафки не сбалансированы после перезапуска брокеров кафки

1 голос
/ 28 июня 2019

У нас странное поведение в нашем кластере Kafka

Когда мы запускаем описанную информацию как 

/usr/hdp/current/kafka-broker/bin/kafka-topics.sh –zookeeperzookeper_server:2181 –describe

Мы получаем, например (это сценарий по всем темам)

Мы получаем по всей теме (-1), и Isr пуст не так, как должно быть 

Topic:__consumer_offsets           PartitionCount:50             ReplicationFactor:3               Configs:segment.bytes=1138822,cleanup.policy=compact,compression.type=producer
               Topic: __consumer_offsets          Partition: 0         Leader: -1           Replicas: 1000,1002,1001                Isr: 
               Topic: __consumer_offsets          Partition: 1         Leader: -1           Replicas: 1000,1002,1001                Isr: 
               Topic: __consumer_offsets          Partition: 2         Leader: -1           Replicas: 1000,1002,1001                Isr: 
               Topic: __consumer_offsets          Partition: 3         Leader: -1           Replicas: 1000,1002,1001                Isr: 
               Topic: __consumer_offsets          Partition: 4         Leader: -1           Replicas: 1000,1002,1001                Isr:

Topic:gen_topic_totCount:100    ReplicationFactor:3         Configs:
               Topic: gen_topic_tot: 0  Leader: -1           Replicas: 1002,1000,1001             Isr: 
               Topic: gen_topic_tot: 1  Leader: -1           Replicas: 1000,1001,1002             Isr: 
               Topic: gen_topic_tot: 2  Leader: -1           Replicas: 1001,1002,1000             Isr:

Это происходит через 2 дня после перезапуска zookeeper и kafka. Сначала все темы были сбалансированы, и Isr был правильноидентификаторы брокеров Но после более чем 24 часов мы получаем это состояние

В логах zookeeper мы не увидели что-то не то и то же самое в server.log от kafka, и брокеры kafka работают)

1000,1001, 1002 - идентификаторы брокеров

...