java.lang.OutOfMemory: ошибка пространства кучи Java в spark-submit - PullRequest
Новая
       41

java.lang.OutOfMemory: ошибка пространства кучи Java в spark-submit

0 голосов
/ 22 сентября 2019

Я запускаю приложение Spark, используя spark-submit и определенные параметры JVM.С этим набором параметров я получаю ошибку пространства кучи Java: 

EXTRA_JVM_FLAGS="-server -XX:+UseG1GC
                         -XX:ReservedCodeCacheSize=384m
                         -XX:MaxDirectMemorySize=2G
                         -agentlib:jdwp=transport=dt_socket,server=y,suspend=n,address=5005
     --master "local[4]"
     --driver-memory 2G
     --driver-java-options "${EXTRA_JVM_FLAGS}"

Я пытался увеличить память драйвера, но это вызвало сбой JVM.Также я попытался увеличить максимальный объем памяти, что никак не помогло.Какие параметры я должен изменить, чтобы исправить ошибку кучи?

1 Ответ

1 голос
/ 23 сентября 2019

Вы должны попробовать самый базовый вариант -Xmx - это максимальный размер пространства кучи.Кэш кода и прямой объем памяти являются областями собственной памяти и не влияют на размер кучи.По умолчанию JVM выделяет 1/4 ОЗУ, доступной на коробке, как максимальный размер кучи.Вы можете увеличить это, если машина достаточно безопасно предназначена для одного процесса JVM.

...