Ошибка инициализации SparkContext при использовании SPARK-SHELL в автономном режиме искры

Question

Я установил Scala.

Я установил Java 8.

Также все переменные окружения были установлены для spark, java и Hadoop.

Все еще появляется эта ошибкаво время выполнения команды spark-shell.Пожалуйста, кто-нибудь, помогите .... Google много, но ничего не нашел.

ошибка spark-shell ошибка spark shell2

Answer 1

Оболочка Spark предоставляет простой способ изучения API. Запустите оболочку, запустив в каталоге Spark следующую команду:

./bin/spark-shell

Затем запустите фрагмент кода scala:

import org.apache.spark.sql.SparkSession
val logFile = "YOUR_SPARK_HOME/README.md" // Should be some file on your system
val spark = SparkSession.builder.appName("Simple Application").getOrCreate()
val logData = spark.read.textFile(logFile).cache()
val numAs = logData.filter(line => line.contains("a")).count()
val numBs = logData.filter(line => line.contains("b")).count()
println(s"Lines with a: $numAs, Lines with b: $numBs")

Если ошибка не исчезнет, ​​мы должны рассмотреть настройку среды