Какие свойства Spark не могут быть установлены программно через SparkConf - PullRequest
0 голосов
/ 26 декабря 2018

Как указано здесь

Свойства Spark в основном можно разделить на два вида: один относится к развертыванию, например «spark.driver.memory», «spark.executor».instances », этот вид свойств может не изменяться при программной настройке через SparkConf во время выполнения, или поведение зависит от того, какой менеджер кластера и режим развертывания вы выбираете, поэтому было бы предложено установить его с помощью файла конфигурации или команды spark-submitпараметры линии;другая в основном связана с управлением во время выполнения Spark, например «spark.task.maxFailures», этот тип свойств может быть установлен любым способом.

Но он просто дает пример, он не заявляетэто ясно, какие свойства не могут быть установлены программно (что означает, что может быть установлено только через командную строку spark-submit).

У кого-нибудь есть идеи?Я просто не могу найти соответствующую документацию по этому поводу ...

Большое спасибо.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...