У меня есть docker compose with almond sh image. Я попытался запустить ноутбук Юпитера и начать сеанс зажигания. Но получил IllegalArgumentException. Не могли бы вы помочь мне решить эту проблему?
docker -составить:
almond:
image: almondsh/almond:latest
ports:
- 8888:8888
volumes:
- ./notebooks:/home/jovyan/notebooks
сеанс init
import $ivy.`org.apache.spark::spark-sql:2.4.3`
import org.apache.spark.sql._
import org.apache.log4j.{Level, Logger}
Logger.getLogger("org").setLevel(Level.OFF)
val spark = {
NotebookSparkSession.builder()
.master("local[*]")
.getOrCreate()
}
Загрузка свечей зажигания
Getting spark JARs
Creating SparkSession
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
java.lang.IllegalArgumentException: System memory 458752000 must be at least 471859200. Please increase heap size using the --driver-memory option or spark.driver.memory in Spark configuration.
org.apache.spark.memory.UnifiedMemoryManager$.getMaxMemory(UnifiedMemoryManager.scala:219)
org.apache.spark.memory.UnifiedMemoryManager$.apply(UnifiedMemoryManager.scala:199)
org.apache.spark.SparkEnv$.create(SparkEnv.scala:330)
org.apache.spark.SparkEnv$.createDriverEnv(SparkEnv.scala:185)
org.apache.spark.SparkContext.createSparkEnv(SparkContext.scala:257)
org.apache.spark.SparkContext.<init>(SparkContext.scala:424)
org.apache.spark.SparkContext$.getOrCreate(SparkContext.scala:2520)
org.apache.spark.sql.SparkSession$Builder.$anonfun$getOrCreate$5(SparkSession.scala:935)
scala.Option.getOrElse(Option.scala:189)
org.apache.spark.sql.SparkSession$Builder.getOrCreate(SparkSession.scala:926)
org.apache.spark.sql.ammonitesparkinternals.AmmoniteSparkSessionBuilder.getOrCreate(AmmoniteSparkSessionBuilder.scala:319)
org.apache.spark.sql.almondinternals.NotebookSparkSessionBuilder.getOrCreate(NotebookSparkSessionBuilder.scala:62)
ammonite.$sess.cmd0$Helper.<init>(cmd0.sc:11)
ammonite.$sess.cmd0$.<init>(cmd0.sc:7)