Проблема с версией SparkSession в Scala - PullRequest
0 голосов
/ 01 мая 2019

Я прочитал эту статью и скопировал пример Sort-Merge Join, но когда я пытаюсь построить проект, я получаю следующую ошибку:

object SparkSession не является членом пакета org.apache.spark.sql

Я видел много вопросов об этой ошибке, и ответы были, что они использовали старую версию Spark.Однако я упомянул в сборке Spark версии 2.1 Spark, как они используют в примере на этом веб-сайте.

Вот мой build.sbt:

name := "Simple Project"

version := "1.0"

scalaVersion := "2.11.8"

libraryDependencies += "org.apache.spark" %% "spark-core" % "2.1.0"

Чего мне не хватает?

1 Ответ

1 голос
/ 01 мая 2019

Зависимость Spark SQL отсутствует

libraryDependencies += "org.apache.spark" %% "spark-sql" % 2.1.0
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...