укажите markweep gc для задания "spark-submit" на emr

Question

Как мне указать, что я хочу, чтобы jvm использовал MarkSweep gc при запуске задания spark-submit на emr? Могу ли я отправить его вместе с заданием (т.е. spark-submit -- conf...) и, если да, то какая команда? Должно ли это быть установлено к моменту запуска искры и, если да, как мне указать это в конфигурации emr?

спасибо!

Answer 1

Вы можете указать опции JVM в --conf "spark.driver.extraJavaOptions=<YourJavaOptionsHere>" после spark-submit.

Например, пример запуска PageRank для GraphX ​​с ParallelScavenge GC будет выглядеть так:

spark-submit run-example --conf "spark.driver.extraJavaOptions=-XX:+UseParallelGC" graphx.PageRankExample

Больше информации на https://spark.apache.org/docs/latest/configuration.html#runtime-environment