Почему я не могу изменить значение "spark.driver.memory" в AWS Elastic Map Reduce? - PullRequest
Новая
       35

Почему я не могу изменить значение "spark.driver.memory" в AWS Elastic Map Reduce?

1 голос
/ 11 апреля 2019

Я хочу настроить свой искровой кластер на AWS EMR, и я не могу изменить значение по умолчанию spark.driver.memory, которое приводит к сбою каждого искрового приложения, поскольку мой набор данных большой.

Я попытался отредактировать файл spark-defaults.conf вручную на главном компьютере, а также попытался настроить его непосредственно с помощью файла JSON на панели мониторинга EMR при создании кластера.

Вот файл JSON, использованный: 

[
  {
    "Classification": "spark-defaults",
    "Properties": {
      "spark.driver.memory": "7g",
      "spark.driver.cores": "5",
      "spark.executor.memory": "7g",
      "spark.executor.cores": "5",
      "spark.executor.instances": "11"
      }
  }
]

После использования файла JSON конфигурации корректно находятся в "spark-defaults.conf", но на панели мониторинга spark всегда есть значение по умолчанию для "spark.driver.memory", равное 1000M, в то время какдругие значения изменены правильно.Кто-нибудь попал в ту же проблему, пожалуйста?Заранее спасибо.

1 Ответ

0 голосов
/ 11 апреля 2019

Вам нужно установить

maximizeResourceAllocation = истина

в настройках по умолчанию для свечей 

[
   {
    "Classification": "spark",
    "Properties": {
       "maximizeResourceAllocation": "true"
    }
  }
]
...