Настройка pyspark JVM памяти (Xmx)

Question

Когда я запускаю искровое задание, написанное с помощью pyspark, у меня запускается jvm с настройкой Xmx1g, которую я не могу установить. Вот вывод ps aux:

 /usr/lib/jvm/jre/bin/java -cp /home/ec2-user/miniconda3/lib/python3.6/site-packages/pyspark/conf:/home/****/miniconda3/lib/python3.6/site-packages/pyspark/jars/* -Xmx1g org.apache.spark.deploy.SparkSubmit pyspark-shell

Мой вопрос: как мне установить это свойство? Я могу установить основную память, используя SPARK_DAEMON_MEMORY и SPARK_DRIVER_MEMORY, но это не влияет на порожденный процесс pyspark.

Я уже пробовал JAVA_OPTS или фактически просматривал файлы /bin пакетов, но не мог понять, где это установлено.

Установка spark.driver.memory и spark.executor.memory в контексте самого задания также не помогла.

Edit:

После перемещения для отправки заданий с помощью spark-submit (код и инфраструктура были выделены из автономной конфигурации) - все было решено. Представляется, что отправка программно (с использованием SparkConf) отменяет некоторые настройки кластера.

Answer 1

Вы можете использовать --conf spark.driver.extraJavaOptions и --conf spark.executor.extraJavaOptions после spark-submit, например:

SPARK_LOCATION/spark-submit --verbose --master yarn-cluster --num-executors 15 --conf spark.driver.cores=3 ....... --conf spark.driver.extraJavaOptions="-Xss10m -XX:MaxPermSize=1024M " --conf spark.executor.extraJavaOptions="-Xss10m -XX:MaxPermSize=512M " .....