Какими должны быть мои варианты спарк-отправки для лучшей производительности и теперь проблема с кучей памяти

Question

У меня 1 драйвер и 6 ядер с 16 ГБ оперативной памяти и 8 ядрами в каждом.Я использую spark-submit со следующими параметрами:

spark-submit --driver-memory 4g \
    --executor-memory 6g \
    --num-executors 12 \
    --executor-cores 2 \
    --conf spark.driver.maxResultSize=0 \
    --conf spark.network.timeout=800 job.py

Я получаю ошибку памяти кучи Java несколько раз, я думаю, что с опциями что-то не так, может кто-нибудь помочь мне с этим.

Спасибо