Как решить проблемы с сетью и памятью у брокеров Kafka? - PullRequest
Новая
       14

Как решить проблемы с сетью и памятью у брокеров Kafka?

0 голосов
/ 24 октября 2019

При использовании kafka я периодически получаю две ошибки, связанные с сетью. 

1. Error in fetch kafka.server.replicafetcherthread$fetchrequest connection to broker was disconnected before the reponse was read

2. Error in fetch kafka.server.replicafetcherthread$fetchrequest Connection to broker1 (id: 1 rack: null) failed

[среда конфигурации] 

Brokers: 5 / server.properties: "kafka_manager_heap_s=1g", "kafka_manager_heap_x=1g", "offsets.commit.required.acks=1","offsets.commit.timeout.ms=5000", Most settings are the default.
Zookeepers: 3
Servers: 5
Kafka:0.10.1.2 
Zookeeper: 3.4.6

Обаиз этих ошибок вызваны потерей сетевого взаимодействия.

Если эти ошибки произойдут, Kafka будет работать над расширением или уменьшением раздела ISR несколько раз. 

expanding-ex) INFO Partition [my-topic,7] on broker 1: Expanding ISR for partition [my-topic,7] from 1,2 to 1,2,3
shrinking-ex) INFO Partition [my-topic,7] on broker 1: Shrinking ISR for partition [my-topic,7] from 1,2,3 to 1,2

Я понимаю, что эти ошибки вызваны проблемами с сетью, но я не уверен, почему происходит разрыв сети.

И если это отключение сети сохраняется, я получилследующая дополнительная ошибка: Error when handling request(topics=null} java.lang.OutOfMemoryError: Java heap space

Интересно, что вызывает это и как я могу улучшить это?

1 Ответ

0 голосов
/ 26 октября 2019

Ошибка сети говорит о том, что один из посредников не работает, что означает, что он не может подключиться к нему. По опыту минимальный размер кучи, который вы можете назначить, составляет 2 Гб.

...