В любом случае, мы можем ограничить пользователей, чтобы они не переопределяли значения по умолчанию через SparkSession.builder pyspark. - PullRequest
0 голосов
/ 04 октября 2019

У нас есть сценарий, где spark-defaults.conf имеет все конфиги для нового сеанса spark, когда он создан для использования. Ищите способ ограничить пользователей переопределением конфигураций искры через pyspark SparkConf. Есть ли какое-либо config / свойство для установки в spark-defaults.conf для достижения этого поведения?

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...