java.io.IOException: не удалось подключиться к kafka VIA-порту 6667 на kafka.utils.NetworkClientBlockingOps $ .awaitReady - PullRequest
Новая
       6

java.io.IOException: не удалось подключиться к kafka VIA-порту 6667 на kafka.utils.NetworkClientBlockingOps $ .awaitReady

0 голосов
/ 02 октября 2018

У нас есть 3 машины kafka и 3 машины zookper

машины kafka отделены от машин zookeper, и все машины с ОС - redhat 7.x

под /var/log/kafka мы можемсм. далее, java.io.IOException, отображаемое в server.log 

               at kafka.utils.ShutdownableThread.run(ShutdownableThread.scala:63)
[2018-10-07 07:42:13,342] WARN [ReplicaFetcherThread-0-1007], Error in fetch kafka.server.ReplicaFetcherThread$FetchRequest@407ac4e4 (kafka.server.ReplicaFetcherThread)
java.io.IOException: Connection to kafka03.hfge.com:6667 (id: 1007 rack: null) failed
               at kafka.utils.NetworkClientBlockingOps$.awaitReady$1(NetworkClientBlockingOps.scala:83)
               at kafka.utils.NetworkClientBlockingOps$.blockingReady$extension(NetworkClientBlockingOps.scala:93)
               at kafka.server.ReplicaFetcherThread.sendRequest(ReplicaFetcherThread.scala:248)
               at kafka.server.ReplicaFetcherThread.fetch(ReplicaFetcherThread.scala:238)
               at kafka.server.ReplicaFetcherThread.fetch(ReplicaFetcherThread.scala:42)
               at kafka.server.AbstractFetcherThread.processFetchRequest(AbstractFetcherThread.scala:118)
               at kafka.server.AbstractFetcherThread.doWork(AbstractFetcherThread.scala:103)
               at kafka.utils.ShutdownableThread.run(ShutdownableThread.scala:63)
[2018-10-07 07:42:13,551] WARN [ReplicaFetcherThread-0-1002], Error in fetch kafka.server.ReplicaFetcherThread$FetchRequest@2f9f8ecd (kafka.server.ReplicaFetcherThread)
java.io.IOException: Connection to kafka07.hfge.com:6667 (id: 1002 rack: null) failed
               at kafka.utils.NetworkClientBlockingOps$.awaitReady$1(NetworkClientBlockingOps.scala:83)
               at kafka.utils.NetworkClientBlockingOps$.blockingReady$extension(NetworkClientBlockingOps.scala:93)
               at kafka.server.ReplicaFetcherThread.sendRequest(ReplicaFetcherThread.scala:248)
               at kafka.server.ReplicaFetcherThread.fetch(ReplicaFetcherThread.scala:238)
               at kafka.server.ReplicaFetcherThread.fetch(ReplicaFetcherThread.scala:42)
               at kafka.server.AbstractFetcherThread.processFetchRequest(AbstractFetcherThread.scala:118)
               at kafka.server.AbstractFetcherThread.doWork(AbstractFetcherThread.scala:103)
               at kafka.utils.ShutdownableThread.run(ShutdownableThread.scala:63)
[2018-10-07 07:42:15,343] WARN [ReplicaFetcherThread-0-1007], Error in fetch kafka.server.ReplicaFetcherThread$FetchRequest@4dafd0d9 (kafka.server.ReplicaFetcherThread)
java.io.IOException: Connection to kafka03.hfge.com:6667 (id: 1007 rack: null) failed
               at kafka.utils.NetworkClientBlockingOps$.awaitReady$1(NetworkClientBlockingOps.scala:83)
               at kafka.utils.NetworkClientBlockingOps$.blockingReady$extension(NetworkClientBlockingOps.scala:93)
               at kafka.server.ReplicaFetcherThread.sendRequest(ReplicaFetcherThread.scala:248)
               at kafka.server.ReplicaFetcherThread.fetch(ReplicaFetcherThread.scala:238)
               at kafka.server.ReplicaFetcherThread.fetch(ReplicaFetcherThread.scala:42)
               at kafka.server.AbstractFetcherThread.processFetchRequest(AbstractFetcherThread.scala:118)
               at kafka.server.AbstractFetcherThread.doWork(AbstractFetcherThread.scala:103)
               at kafka.utils.ShutdownableThread.run(ShutdownableThread.scala:63)
[2018-10-07 07:42:15,552] WARN [ReplicaFetcherThread-0-1002], Error in fetch kafka.server.ReplicaFetcherThread$FetchRequest@5ce51081 (kafka.server.ReplicaFetcherThread)
java.io.IOException: Connection to kafka07.hfge.com:6667 (id: 1002 rack: null) failed

дополнительно с этим, у нас также есть проблема, что через некоторое время kafka отключился от зоопарка, это означает, что идентификатор посредника удален изzookeeper (из сессии zoo / брокеров / идентификаторов) 

cd /usr/hdp/current/zookeeper-server/bin

./zkCli.sh

ls /brokers/ids

любая идея, как найти причину 

java.io.IOException: Connection to kafka03.hfge.com:6667

1 Ответ

0 голосов
/ 02 октября 2018

Эта проблема возникает, когда inter.broker.protocol.version не обновляется правильно.Чтобы решить эту проблему, обновите inter.broker.protocol.version и перезапустите посредников по одному, как описано в Документация .

...