kafka.common.KafkaException: неверный тип запроса 18 - PullRequest
Новая
       15

kafka.common.KafkaException: неверный тип запроса 18

0 голосов
/ 25 ноября 2018

Я запускаю этот кусок кода.StreamingInputDF - это readStream по теме Kafka.Я использую spark 2.4.0 и Kafka 0.10.2 

val activityQuery = streamingInputDF.writeStream
.format("console")
.outputMode("append")
.start()
.awaitTermination()

Я вижу это исключение, генерируемое брокером Kafka, как только writeStream вызывается на streamingInputDF 

[2018-11-24 21:46:42,842] ERROR Closing socket for /127.0.0.1 because of error (kafka.network.Processor)
kafka.common.KafkaException: Wrong request type 18
    at kafka.api.RequestKeys$.deserializerForKey(RequestKeys.scala:64)
    at kafka.network.RequestChannel$Request.<init>(RequestChannel.scala:50)
    at kafka.network.Processor.read(SocketServer.scala:450)
    at kafka.network.Processor.run(SocketServer.scala:340)
    at java.lang.Thread.run(Thread.java:745)

1 Ответ

0 голосов
/ 25 ноября 2018

Эта проблема решена.Теперь я могу видеть твиты в оболочке искры, когда они попадают в тему Кафки.Все, что я сделал, это перезапустил брокера Kafka, и больше ничего не изменилось.

val activityQuery = streamingInputDF.writeStream
.format("console")
.outputMode("append")
.start()
.awaitTermination()
...