Я выполняю задание pyspark
spark-submit --driver-memory 2g --executor-memory 2g --conf spark.driver.maxResultSize=2g job.py
Я пытался изменить несколько параметров, но каждый раз, когда я получаю сообщение об ошибке ниже:
Предупреждение виртуальной машины 64-разрядного сервера OpenJDK: INFO: os ::commit_memory (0x000000072324e000, 985616384, 0) не выполнен;error = 'Невозможно выделить память' (errno = 12)
Недостаточно памяти для продолжения среды выполнения Java.
Не удалось выделить собственное выделение памяти (mmap) для отображения 985616384 байтов для зарезервированной фиксациипамять.
Файл отчета об ошибке с дополнительной информацией сохраняется как:
Я новичок в Spark, может кто-нибудь помочь мне, что должно быть решением с этим.