Поскольку я запускаю JAR через автономный кластер Spark, состоящий из серверов Ubuntu 18.04, и запускаю их через терминал, я столкнулся с проблемой размера стека / кучи моих программ.
Программа выполняет глубокие рекурсивные вызовы, и я не знаю, как ее можно увеличить. Я пытался увеличить драйвер и рабочую память, но все еще кажется, что этого недостаточно.
Я использовал такие команды, как:
spark-submit --class path.to.my.class.App --master spark://192.168.0.2:7077 --deploy-mode cluster --total-executor-cores 2 --executor-memory 4G --driver-memory 4G MyJar.jar
spark-submit --class path.to.my.class.App --master spark://192.168.0.2:7077 --deploy-mode cluster --conf "spark.executor.extraJavaOptions=-Xmx4G" MyJar.jar
И они, похоже, действительно меняют размер стека, потому что логи (логи из первой команды):
DriverRunner:54 - Launch Command: "/usr/lib/jvm/java-8-oracle//bin/java" "-cp" "/home/spark/spark-2.4.0-bin-hadoop2.7//conf/:/home/spark/spark-2.4.0-bin-hadoop2.7/jars/*" "-Xmx4096M" "-Dspark.driver.supervise=false" "-Dspark.submit.deployMode=cluster" "-Dspark.jars=file:/home/spark/MyJar.jar" "-Dspark.cores.max=2" "-Dspark.executor.memory=2G" "-Dspark.master=spark://192.168.0.2:7077" "-Dspark.driver.memory=4G" "-Dspark.app.name=path.to.my.class.App" "-Dspark.rpc.askTimeout=10s" "org.apache.spark.deploy.worker.DriverWrapper" "spark://Worker@192.168.0.3:35131" "/home/spark/spark-2.4.0-bin-hadoop2.7/work/driver-20190409133030-0007/MyJar.jar" "path.to.my.class.App"
Надеюсь найти решение этой проблемы, я очень застрял в этом, заранее спасибо.