Spark Структурированное потоковое вещание с Kafka версии 2 - PullRequest
Новая
       33

Spark Структурированное потоковое вещание с Kafka версии 2

0 голосов
/ 14 октября 2018

Мы обновили нашу версию kafka до 2.0 с 0.9

Нужна помощь в поиске подходящей клиентской библиотеки для потоковой структурированной искры 

"org.apache.spark" %% "spark-streaming-kafka-0-10" % "2.3.0"

не работает.

Этовыдает ошибку:

11:46:18.061 [stream execution thread for [id = e393ea37-8009-4ce0-b996-94f767994fb8, runId = bc15eb7d-876d-4e01-8ee5-22205ec7fdcb]] DEBUG org.apache.kafka.clients.NetworkClient - [Consumer clientId=consumer-2, groupId=spark-kafka-source-8ce7f26f-e342-4b0d-85f1-a9f641b79629-1052905425-driver-0] Completed connection to node -1. Fetching API versions. 11:46:18.061 [stream execution thread for [id = e393ea37-8009-4ce0-b996-94f767994fb8, runId = bc15eb7d-876d-4e01-8ee5-22205ec7fdcb]] DEBUG org.apache.kafka.clients.NetworkClient - [Consumer clientId=consumer-2, groupId=spark-kafka-source-8ce7f26f-e342-4b0d-85f1-a9f641b79629-1052905425-driver-0] Initiating API versions fetch from node -1. 11:46:18.452 [stream execution thread for [id = e393ea37-8009-4ce0-b996-94f767994fb8, runId = bc15eb7d-876d-4e01-8ee5-22205ec7fdcb]] DEBUG org.apache.kafka.common.network.Selector - [Consumer clientId=consumer-2, groupId=spark-kafka-source-8ce7f26f-e342-4b0d-85f1-a9f641b79629-1052905425-driver-0] Connection with kafka-muhammad-45e0.aivencloud.com/18.203.67.147 disconnected java.io.EOFException: null at org.apache.kafka.common.network.NetworkReceive.readFrom(NetworkReceive.java:119) at org.apache.kafka.common.network.KafkaChannel.receive(KafkaChannel.java:335) at org.apache.kafka.common.network.KafkaChannel.read(KafkaChannel.java:296) at org.apache.kafka.common.network.Selector.attemptRead(Selector.java:560)

1 Ответ

0 голосов
/ 14 октября 2018

Пожалуйста, предоставьте больше информации (как насчет ошибок ?!).Брокеры Kafka спроектированы так, чтобы быть обратно совместимыми, это помогает в проектах, которые значительно отстают от последних API (таких как Spark).

ArtifactId, на который вы ссылаетесь spark-streaming-kafka-0-10, предназначен для Spark Streaming , чтобы использовать Spark Structured Streaming , который вы захотите использовать spark-sql-kafka-0-10_2.11

...