build.spark: добавить искровые зависимости - PullRequest
Новая
       10

build.spark: добавить искровые зависимости

0 голосов
/ 20 сентября 2018

Я пытался загрузить spark-core и spark-sql в файл build.sbt: 

name := "spark Test App"
version := "0.1"
organization := "sura.organization"
scalaVersion :=  "2.11.8"
val sparkVersion := "2.3.1"

libraryDependencies ++= Seq(
"org.apache.spark" %% "spark-core" % sparkVersion,
"org.apache.spark" %% "spark-sql" % sparkVersion)

Когда я запускал пакет sbt, я получал ошибку как

/build.sbt]:7: '=' ожидается.

Я не смог найти ошибку, пожалуйста, помогите мне.

1 Ответ

0 голосов
/ 20 сентября 2018

Проблема в этой строке 

val sparkVersion := "2.3.1"

Это должно быть 

val sparkVersion = "2.3.1"

Кроме того, вы должны пометить эти зависимости как Предоставлено , потому что вам нужно толькоих для компиляции и локального выполнения (например, тесты) .Но в производстве вы развернете свой jar в кластер Spark, который (очевидно) уже включает их. 

libraryDependencies ++= Seq(
  "org.apache.spark" %% "spark-core" % sparkVersion % Provided,
  "org.apache.spark" %% "spark-sql" % sparkVersion % Provided
)

PS: Убедитесь, что вы используете тот жеВерсии Spark и Scala в качестве кластера развертывания.

Кстати, если вам нужно включить другие зависимости (например, соединитель Mongo Spark) , вам следует взглянуть на sbt-assembly , но имейте в виду, что вам нужно будет исключить стандартную библиотеку Scala из сборочной банки.

...