Ошибки при запуске Spark в Intellij в Ubuntu

Question

Когда я запускаю приведенный ниже код, я получаю сообщение об ошибке, указывающее на строку, указанную в комментарии. Я принес файлы JAR для Spark. Когда я пишу код, возникают предположения о том, как можно написать код Spark, поэтому IDE, похоже, распознает библиотеку Spark. Это написано на Scala, и я новичок в Scala и Spark. В противном случае Scala работает нормально в IDE.

import org.apache.spark.sql.SparkSession

object Spark {
  def main(args: Array[String]): Unit = {
    val logFile = "/home/thomaswolff/ubuntu/spark-2.1.0-bin-hadoop2.7/LICENSE"
    val spark = SparkSession.builder.appName("Simple Application").getOrCreate()
    val logData = spark.read.textFile(logFile).cache()
    val numAs = logData.filter(line => line.contains("a")).count()
    val numBs = logData.filter(line => line.contains("b")).count()
    println(s"Lines with a: $numAs, Lines with a b: $numBs")
    spark.stop()
  }

}

Вот ошибки, которые возникают при запуске кода в Intellij:

[error] Total time: 1 s, completed Oct 8, 2019 5:51:42 PM
[IJ]sbt:ScalaSpark_1> all 
{file:/home/thomaswolff/IdeaProjects/ScalaSpark_1/}scalaspark_1/products 
{file:/home/thomaswolff/IdeaProjects/ScalaSpark_1/}scalaspark_1/test:products
[info] Compiling 4 Scala sources to 
/home/thomaswolff/IdeaProjects/ScalaSpark_1/target/scala-2.13/classes ...
[error] /home/thomaswolff/IdeaProjects/ScalaSpark_1/src/main/scala/Spark.scala:1:12: object 
apache is not a member of package org
[error] import org.apache.spark.sql.SparkSession
[error]            ^
[error] /home/thomaswolff/IdeaProjects/ScalaSpark_1/src/main/scala/Spark.scala:6:17: not 
found: value SparkSession
[error]     val spark = SparkSession.builder.appName("Simple Application").getOrCreate()

Обновление: я установил более старую версиюIntellij 2018.2 и загрузил JAR, как и раньше, но теперь я получаю эту ошибку:

Error: Could not find or load main class Spark
Caused by: java.lang.ClassNotFoundException: Spark

Answer 1

Я разобрался в чем проблема. Мой build.sbt был неправильно настроен. Вот это ниже:

name := "sbt_spark_scala"

version := "0.1"

scalaVersion := "2.11.8"

val sparkVersion = "2.2.1"

libraryDependencies ++= Seq(
  "org.apache.spark" %% "spark-core" % sparkVersion,
  "org.apache.spark" %% "spark-graphx" % sparkVersion,
  "org.apache.spark" %% "spark-sql" % sparkVersion,
  "org.apache.spark" %% "spark-mllib" % sparkVersion,
  "org.apache.spark" %% "spark-hive" % sparkVersion,
  "org.apache.spark" %% "spark-streaming" % sparkVersion % "provided"
)

Это видео на YouTube мне очень помогло: https://www.youtube.com/watch?v=nYLCoq7PkVs