Apache Spark мастер URL-адрес ошибки работает в идее intellij

Question

Я использую Intellij Идея для применения искры в Scala.Я не уверен, почему я получаю ниже ошибка.

Код:

package batch

import java.lang.management.ManagementFactory

import org.apache.spark.{SparkConf, SparkContext}

object BatchJob {
  def main(args: Array[String]): Unit = {


    val conf = new SparkConf()
      .setAppName("Lambda with Spark")

    val sc = new SparkContext(conf)
    val sourceFile = "file:///E:/Boxes/data.tsv"
    val input = sc.textFile(sourceFile)

    input.foreach(println)
  }

}

Ошибка:

**Exception in thread "main" org.apache.spark.SparkException: A master URL must be set in your configuration**

Answer 1

Проблема именно в том, что говорит ошибка, вам нужно установить главный URL для запуска spark. Если вы работаете внутри ide или локально, вы должны сделать объект SparkConf следующим образом:

val conf = new SparkConf()
  .setAppName("Lambda with Spark").setMaster(local[*])

дляработая на кластерах, вы можете использовать «пряжу» в качестве мастера.

Answer 2

Если вы используете Spark на Intellij (в локальном режиме), вы должны установить master для объекта конфигурации Spark:

val conf = new SparkConf().setAppName("Lambda with Spark").setMaster("local[*]")