Так что я новичок в искре.Мои версии: Spark 2.1.2, Scala версия 2.11.8 (Java HotSpot (TM) 64-разрядная серверная виртуальная машина, Java 1.8.0_131).Я использую IntellijIdea 2018 Community на Windows 10 (x64).И всякий раз, когда я пытаюсь запустить простой пример подсчета слов, я получаю следующую ошибку:
18/10/22 01:43:14 ОШИБКА SparkContext: Ошибка инициализации SparkContext.java.lang.IllegalArgumentException: системная память 259522560 должна быть не менее 471859200. Увеличьте размер кучи, используя параметр --driver-memory или spark.driver.memory в конфигурации Spark.в org.apache.spark.memory.UnifiedMemoryManager $ .getMaxMemory (UnifiedMemoryManager.scala: 216) в org.apache.spark.memory.UnifiedMemoryManager $ .apply (UnifiedMemoryManager.scala: 198) в org.apark.spn. $.создать (SparkEnv.scala: 330) в org.apache.spark.SparkEnv $ .createDriverEnv (SparkEnv.scala: 174) в org.apache.spark.SparkContext.createSparkEnv (SparkContext.scala: 257) в org.SparkContext. (SparkContext.scala: 432) в WordCount $ .main (WordCount.scala: 5) в WordCount.main (WordCount.scala)
PS: это код счетчика слов, который используетв качестве примера:
import org.apache.spark.{SparkConf,SparkContext}
object WordCount {
def main(args: Array[String]) {
val conf = new SparkConf().setAppName("mySpark").setMaster("local")
val sc = new SparkContext(conf)
val rdd = sc.textFile(args(0))
val wordcount = rdd.flatMap(_.split("\t") ).map((_, 1))
.reduceByKey(_ + _)
for (arg <- wordcount.collect())
print(arg + " ")
println()
// wordcount.saveAsTextFile(args(1))
// wordcount.saveAsTextFile("myFile")
sc.stop()
}
}
Поэтому мой вопрос заключается в том, как избавиться от этой ошибки.Я искал решение и пытался установить разные версии Spark, JDK и Hadoop, но это не помогло.Я не знаю, где может быть проблема.