Зависимость от орг. apache .spark.streaming.kafka.KafkaUtils - PullRequest
Новая
       26

Зависимость от орг. apache .spark.streaming.kafka.KafkaUtils

1 голос
/ 29 февраля 2020

Я пытаюсь интегрировать искровую трансляцию с кафкой. Я не могу разрешить зависимость для org.apache.spark.streaming.kafka.KafkaUtils. Ниже мой build.sbt: 

name := "StreamingTest"

version := "1.0"

organization := "com.sundogsoftware"

scalaVersion := "2.12.10"

libraryDependencies ++= Seq(
"org.apache.spark" %% "spark-core" % "3.0.0-preview2" % "provided",
"org.apache.spark" %% "spark-streaming-kafka-0-10" % "3.0.0-preview2",
"org.apache.spark" %% "spark-sql" % "3.0.0-preview2",
"org.apache.spark" %% "spark-streaming" % "3.0.0-preview2" % "provided",
"org.apache.kafka" %% "kafka" % "2.0.0"

)

Я использую следующие импорты в моем проекте: 

import org.apache.spark.{SparkConf, SparkContext, sql}
import org.apache.spark.sql.{SQLContext, SparkSession}
import org.apache.spark.streaming.{Seconds, StreamingContext}
import org.apache.spark.streaming.dstream.{DStream, InputDStream}
import org.apache.spark.streaming.kafka.KafkaUtils
import kafka.serializer.StringDecoder

Все зависимости разрешены, кроме org.apache.spark.streaming.kafka.KafkaUtils. Я использую версию 3.0.0-preview2 и scala версию 2.12.10.

...