Какую точность мы имеем в виду, когда передаем установить кортеж "spark.some.config.option", "config-value" при создании сеанса Spark?

Question

При создании сеанса spark с шаблоном компоновщика мы часто устанавливаем конфигурацию с ("spark.some.config.option", "config-value"). Что именно мы подразумеваем под этим и каково его значение?

например:

val spark=SparkSession.builder().appName("SPARK SQL EXAMPLE")
     .config("spark.some.config.option", "some-value").getOrCreate

Answer 1

Как и любой другой фреймворк, Spark предоставляет множество настраиваемых ручек и рычагов в виде Configurations. Они могут быть установлены различными способами, включая

• spark-defaults.conf файл
• spark-submit варианты
• SparkConf объект

---

При создании SparkSession API Spark позволяет передавать конфигурацию во время выполнения, которая может быть достигнута с помощью

• SparkConf объект
• с использованием .config("key", value) звонков

Answer 2

Это один из способов управления конфигурацией Spark, который используется при создании или использовании SparkSession. Spark имеет длинный список доступных конфигураций, каждая из которых управляет определенным поведением, которое может быть изменено с использованием различных значений конфигурации.

Вот глоссарий всех доступных конфигураций и их значения: https://spark.apache.org/docs/latest/configuration.html#available-properties

Например, использование .config("spark.shuffle.compress", "false") скажет Spark не сжимать файлы в случайном порядке (не обязательно хорошая идея, просто пример).