SparkSession не существует

Question

Я пытаюсь определить udf в Spark 2.3.0, используя Scala 2.11.12.Мне кажется, что мне нужно использовать SparkSession.udf(), чтобы это можно было сделать, прочитав документы .

Но я не могу импортировать этот объект,

import org.apache.spark.sql.SparkSession

приводит к:

Error:(2, 8) object SparkSession is not a member of package org.apache.spark.sql
import org.apache.spark.sql.SparkSession

Вот мой build.sbt:

name := "webtrends-processing-scala"

version := "0.1"

scalaVersion := "2.11.12"

libraryDependencies += "org.apache.spark" %% "spark-core" % "2.3.3"

libraryDependencies += "io.lemonlabs" %% "scala-uri" % "1.4.3"

Answer 1

Вы должны включить spark sql зависимость:

libraryDependencies ++= Seq("org.apache.spark" %% "spark-core" % "2.3.0",
                            "org.apache.spark" %% "spark-sql"  % "2.3.0")