В чем разница между SparkSession.conf и SparkConf?

Question

Я понимаю, что вы создаете SparkSession из объекта SparkConf, но означает ли это, что SparkSession.conf такой же, как SparkConf ()?

Answer 1

Да , если (SparkSession.builder.config(conf=SparkConf())), вы создаете SparkSessioin с объектом SparkConf

Вы можете подтвердить это из исходного кода PySpark

Вот код для SparkSession.conf , который возвращает self._conf, и если вы вернетесь назад, вы увидите, что он устанавливается или создается в getOrCreate метод ссылка

В методе getOrCreate вы можете заметить, что SparkConf устанавливает параметры, которые передаются во время создания SparkSession

Вы можете дополнительно проверитьself._options устанавливается со значениями в config методе ссылка , которая в нашем случае передает объект SparkConf (ключ, значение)