Как работает эта команда?

Question

Извините, я новичок в питоне.При изучении pyspark я наткнулся на такую ​​команду

sc = SparkSession.builder.config("spark.sql.warehouse.dir", "file:///C:/temp").appName("SparkSQL").getOrCreate()

Мои сомнения очень просты, я просто хочу знать, как оператор точки используется несколько раз в приведенном выше утверждении.Согласно моему знанию оператор точки будет использоваться несколько раз, когда функция находится на нескольких уровнях пакетов, таких как

packagemain.subpackage1.subpackage2.function()

. Но в приведенном выше утверждении «SparkSession», по-видимому, является классом, а «sc» являетсяобъект, другие могут быть функциями.Я просто хочу знать, как они связаны между собой оператором точки?Как система интерпретирует это утверждение?

Answer 1

Файл конфигурации spark - это последовательность ключей: значения, разделенные пробелами, например: https://spark.apache.org/docs/latest/configuration.html

.config("spark.sql.warehouse.dir", "file:///C:/temp")

относится к объекту конфигурации, созданному из файла, на который ссылаются, и ищетключ с именем spark.sql.warehouse.dir

Это просто строка (или, точнее, имя ключа в файле конфигурации) - ничего общего с импортом или чем-то подобным.

Answer 2

Получает сборщик от SparkSession.От этого строителя он вызывает config с аргументами.Это возвращает некоторую конфигурацию, которую вы затем вызываете функцией appName со следующими аргументами.Затем он вызывает функцию getOrCreate ().По сути, он возвращает значение вызовов перед точкой, а затем вычисляет код точки на этом.