Как правильно настроить Scala Spark libraryDependencies с правильной версией Scala? - PullRequest
Новая
       19

Как правильно настроить Scala Spark libraryDependencies с правильной версией Scala?

0 голосов
/ 27 сентября 2018

Я новичок в Scala Spark и пытаюсь создать пример проекта с использованием Intellij.Во время создания проекта я выбираю Scala и Sbt с версией Scala 2.12, но когда я попытался добавить версию 2.3.2 для потоковой передачи с плавающей точкой, если ошибка продолжалась, поэтому я нашел Google и на веб-сайте Apache я обнаружил конфигурацию sbt, показанную ниже, и я по-прежнемуполучая ту же ошибку. 

Error: Could not find or load main class SparkStreamingExample
Caused by: java.lang.ClassNotFoundException: SparkStreamingExample

Как определить, какая версия Scala работает с какой версией Spark Dependencies? 

name := "SparkStreamExample"

version := "0.1"

scalaVersion := "2.11.8"

libraryDependencies ++= Seq(

  "org.apache.spark" % "spark-streaming_2.11" % "2.3.2"
)

Мой класс Object очень простой, не имеетмного к этому ... 

import org.apache.spark.SparkConf
import org.apache.spark.streaming.StreamingContext

object SparkStreamingExample extends App {
    println("SPARK Streaming Example")
}

1 Ответ

0 голосов
/ 27 сентября 2018

Вы можете увидеть версию Scala, поддерживаемую Spark, в документации Spark .

На момент написания этой документации в документации написано:

Spark работает на Java 8+, Python 2.7 + / 3.4 + и R 3.1+.Для API Scala Spark 2.3.2 использует Scala 2.11.Вам нужно будет использовать совместимую версию Scala (2.11.x).

Обратите внимание, что поддерживается только Scala 2.11.x.

...