Хотя я установил локальный локальный компьютер, мое искровое приложение выдает ошибку

Question

У меня есть следующее приложение (я запускаю и останавливаю искру) в Windows. Я использую Scala-IDE (Eclipse). Я получаю сообщение об ошибке «Основной URL-адрес должен быть задан в вашей конфигурации», хотя я установил его здесь. Я использую версию spark-2.4.4.

Может кто-нибудь помочь мне решить эту проблему.

import org.apache.spark._;
import org.apache.spark.sql._;

object SampleApp {

  def main(args: Array[String]) {    
    val conf =  new SparkConf()
               .setMaster("local[*]")
               .setAppName("Simple Application")

    val sc   =  new SparkContext(conf)

    sc.stop()
  }

}

Ошибка:

Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
19/10/28 22:58:56 INFO SparkContext: Running Spark version 2.4.4
19/10/28 22:58:56 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
19/10/28 22:58:56 ERROR SparkContext: Error initializing SparkContext.
org.apache.spark.SparkException: A master URL must be set in your configuration
    at org.apache.spark.SparkContext.<init>(SparkContext.scala:368)
    at org.apache.spark.SparkContext$.getOrCreate(SparkContext.scala:2520)
    at org.apache.spark.sql.SparkSession$Builder.$anonfun$getOrCreate$5(SparkSession.scala:935)
    at scala.Option.getOrElse(Option.scala:121)
    at org.apache.spark.sql.SparkSession$Builder.getOrCreate(SparkSession.scala:926)
    at com.spark.renga.SampleApp$.main(SampleApp.scala:8)
    at com.spark.renga.SampleApp.main(SampleApp.scala)
19/10/28 22:58:56 ERROR Utils: Uncaught exception in thread main
java.lang.NullPointerException
    at org.apache.spark.SparkContext.postApplicationEnd(SparkContext.scala:2416)
    at org.apache.spark.SparkContext.$anonfun$stop$2(SparkContext.scala:1931)
    at org.apache.spark.util.Utils$.tryLogNonFatalError(Utils.scala:1340)
    at org.apache.spark.SparkContext.stop(SparkContext.scala:1931)
    at org.apache.spark.SparkContext.<init>(SparkContext.scala:585)
    at org.apache.spark.SparkContext$.getOrCreate(SparkContext.scala:2520)
    at org.apache.spark.sql.SparkSession$Builder.$anonfun$getOrCreate$5(SparkSession.scala:935)
    at scala.Option.getOrElse(Option.scala:121)
    at org.apache.spark.sql.SparkSession$Builder.getOrCreate(SparkSession.scala:926)
    at com.spark.renga.SampleApp$.main(SampleApp.scala:8)
    at com.spark.renga.SampleApp.main(SampleApp.scala)
19/10/28 22:58:56 INFO SparkContext: Successfully stopped SparkContext
Exception in thread "main" org.apache.spark.SparkException: A master URL must be set in your configuration
    at org.apache.spark.SparkContext.<init>(SparkContext.scala:368)
    at org.apache.spark.SparkContext$.getOrCreate(SparkContext.scala:2520)
    at org.apache.spark.sql.SparkSession$Builder.$anonfun$getOrCreate$5(SparkSession.scala:935)
    at scala.Option.getOrElse(Option.scala:121)
    at org.apache.spark.sql.SparkSession$Builder.getOrCreate(SparkSession.scala:926)
    at com.spark.renga.SampleApp$.main(SampleApp.scala:8)
    at com.spark.renga.SampleApp.main(SampleApp.scala)

Answer 1

, если вы используете версию 2.4.4, попробуйте это:

import org.apache.spark.sql.SparkSession

object SampleApp {

  def main(args: Array[String]) {

    val spark = SparkSession
      .builder
      .master("local[*]")
      .appName("test")
      .getOrCreate()

    println(spark.sparkContext.version)

    spark.stop()
  }
}