Kafka - Потребитель консоли завис - PullRequest
Новая
       17

Kafka - Потребитель консоли завис

0 голосов
/ 19 июня 2020

Я создал простую настройку с 3 брокерами, а затем создал простую топи c и отправил сообщения с помощью производителя консоли. Я пытался получать сообщения с помощью консольного потребителя со всеми живыми и работающими брокерами, потребитель застрял.

Обновление # 1

И один из брокеров выполняет много операций с исключениями, такими как NotEnoughReplicasException

Журналы 

    org.apache.kafka.common.errors.NotEnoughReplicasException: The size of the current ISR Set(2) is insufficient to satisfy the min.isr re
quirement of 2 for partition __consumer_offsets-10                                                                                     
[2020-06-19 17:36:24,249] INFO [GroupCoordinator 2]: Preparing to rebalance group console-consumer-28937 in state PreparingRebalance wi
th old generation 4822 (__consumer_offsets-10) (reason: error when storing group assignment during SyncGroup (member: consumer-console-
[2020-06-19 17:36:24,305] INFO [GroupCoordinator 2]: Stabilized group console-consumer-28937 generation 4823 (__consumer_offsets-10) (k
afka.coordinator.group.GroupCoordinator)                                                                                               
23 (kafka.coordinator.group.GroupCoordinator)                                                                                          
[2020-06-19 17:36:24,306] ERROR [ReplicaManager broker=2] Error processing append operation on partition __consumer_offsets-10 (kafka.s
erver.ReplicaManager)                                                                                                                  
org.apache.kafka.common.errors.NotEnoughReplicasException: The size of the current ISR Set(2) is insufficient to satisfy the min.isr re
quirement of 2 for partition __consumer_offsets-10                                                                                     
[2020-06-19 17:36:24,307] INFO [GroupCoordinator 2]: Preparing to rebalance group console-consumer-28937 in state PreparingRebalance wi
th old generation 4823 (__consumer_offsets-10) (reason: error when storing group assignment during SyncGroup (member: consumer-console-
consumer-28937-1-21df21a9-3e11-4286-8252-3871633cf3bd)) (kafka.coordinator.group.GroupCoordinator)                                     
[2020-06-19 17:36:24,349] INFO [GroupCoordinator 2]: Stabilized group console-consumer-28937 generation 4824 (__consumer_offsets-10) (k
afka.coordinator.group.GroupCoordinator)                                                                                               
[2020-06-19 17:36:24,351] INFO [GroupCoordinator 2]: Assignment received from leader for group console-consumer-28937 for generation 48
[2020-06-19 17:36:24,351] ERROR [ReplicaManager broker=2] Error processing append operation on partition __consumer_offsets-10 (kafka.s

Факты о Topi c 

Topic: new_topic        PartitionCount: 1       ReplicationFactor: 1    Configs:
    Topic: new_topic        Partition: 0    Leader: 3       Replicas: 3     Isr: 3

1 Ответ

0 голосов
/ 19 июня 2020

Исправлена ​​проблема, сделав min.insync.replicas = 1 (значение было 2, когда проблема возникла), поскольку рассматриваемый topi c new_topic имел только коэффициент репликации 1, который противоречит min.insync.replicas .

Однако вопрос, который я до сих пор не понял, - это то, как min.insync.replicas мешает пути потребителя.

...