IllegalArgumentException: системная память при запуске NotebookSparkSession в образе almondsh - PullRequest
0 голосов
/ 31 марта 2020

У меня есть docker compose with almond sh image. Я попытался запустить ноутбук Юпитера и начать сеанс зажигания. Но получил IllegalArgumentException. Не могли бы вы помочь мне решить эту проблему?

docker -составить:

almond:
    image: almondsh/almond:latest
    ports:
      - 8888:8888
    volumes:
      - ./notebooks:/home/jovyan/notebooks

сеанс init

    import $ivy.`org.apache.spark::spark-sql:2.4.3` 
    import org.apache.spark.sql._
    import org.apache.log4j.{Level, Logger}
    Logger.getLogger("org").setLevel(Level.OFF)

    val spark = {
      NotebookSparkSession.builder()
        .master("local[*]")
        .getOrCreate()
    }

Загрузка свечей зажигания

Getting spark JARs
Creating SparkSession
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
java.lang.IllegalArgumentException: System memory 458752000 must be at least 471859200. Please increase heap size using the --driver-memory option or spark.driver.memory in Spark configuration.
  org.apache.spark.memory.UnifiedMemoryManager$.getMaxMemory(UnifiedMemoryManager.scala:219)
  org.apache.spark.memory.UnifiedMemoryManager$.apply(UnifiedMemoryManager.scala:199)
  org.apache.spark.SparkEnv$.create(SparkEnv.scala:330)
  org.apache.spark.SparkEnv$.createDriverEnv(SparkEnv.scala:185)
  org.apache.spark.SparkContext.createSparkEnv(SparkContext.scala:257)
  org.apache.spark.SparkContext.<init>(SparkContext.scala:424)
  org.apache.spark.SparkContext$.getOrCreate(SparkContext.scala:2520)
  org.apache.spark.sql.SparkSession$Builder.$anonfun$getOrCreate$5(SparkSession.scala:935)
  scala.Option.getOrElse(Option.scala:189)
  org.apache.spark.sql.SparkSession$Builder.getOrCreate(SparkSession.scala:926)
  org.apache.spark.sql.ammonitesparkinternals.AmmoniteSparkSessionBuilder.getOrCreate(AmmoniteSparkSessionBuilder.scala:319)
  org.apache.spark.sql.almondinternals.NotebookSparkSessionBuilder.getOrCreate(NotebookSparkSessionBuilder.scala:62)
  ammonite.$sess.cmd0$Helper.<init>(cmd0.sc:11)
  ammonite.$sess.cmd0$.<init>(cmd0.sc:7)
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...