Как я могу найти значение определенного свойства конфигурации Spark?

Question

Как найти значение конфигурации искры в моем коде искры?

Например, я хотел бы найти значение spark.sql.shuffle.partitions и сослаться на это в моем коде.

Следующий код вернет все значения: -

spark.sparkContext.getConf().getAll()

Как я могу получить один параметр конфигурации?

Answer 1

Вот так.

spark.conf.get("spark.sql.shuffle.partitions")
'200' # returns default value here