Я использую кластер Amazon EMR и хочу изменить память кучи драйверов.
Я дал следующую конфигурацию кластеру:
[{"classification":"spark-defaults",
"properties":
{"spark.executor.memory":"36g",
"spark.driver.memory":"36g",
"spark.driver.cores":"3",
"spark.default.parallelism":"174",
"spark.executor.cores":"3",
"spark.executor.instances":"29",
"spark.yarn.executor.memoryOverhead":"4g",
"spark.dynamicAllocation.enabled":"false"}}]
Однако, когда я проверяю вкладку среды в спаркПользовательский интерфейс, память драйвера по-прежнему остается фиксированным до 1000 м, в то время как остальная часть установлена правильно.Что я делаю не так?
Я использую большой кластер машин r4.4x.
Спасибо.