Настроить G C в Azure Databricks

Question

Я работаю над Azure блоками данных. При настройке производительности детали в документации по искре предлагается изменить настройки G C в Spark.

Любая идея, в которой я могу изменить эту настройку в Azure блоки данных?

Ссылка для настройки производительности: https://spark.apache.org/docs/latest/tuning.html

Answer 1

Установите их в конфигурации кластера

spark.driver.extraJavaOptions -XX:+G1HeapRegionSize
spark.executor.extraJavaOptions -XX:+G1HeapRegionSize