Параметр искровой памяти

Question

Я использую дистрибутив Cloudera Hadoop, и используется версия Spark2 2.2. Я искал параметры управления памятью, которые присутствуют в разделе «Управление памятью» по ссылке ниже:

https://spark.apache.org/docs/2.2.0/configuration.html

Однако я не вижу этих параметров конфигурации внутри spark2> Ссылка конфигурации Cloudera Manager.

Я думаю, что в моем понимании есть пробел. Пожалуйста, предложите, где искать, если эти параметры должны быть изменены вручную.

Answer 1

Привет,

Я предоставил параметры настройки памяти таким образом в конфигурации искры Cloudera Manager. Что происходит, если вы сохраните это, тогда файл spark-defaults.conf будет обновлен на сервере, и после перезапуска службы Spark2 вы получите преимущество от изменения конфигурации.

Надеюсь, это поможет.