Установите значение конфигурации в Spark- SQL Shell

Question

Как я могу установить значение параметра конфигурации в spark SQL Shell?

В Spark-Shell можно использовать:

scala> spark.config.set("spark.sql.optimizer.excludeRules", "org.apache.spark.sql.catalyst.optimizer.PushDownPredicate");

Но, я хочу sh знать как сделать то же самое с помощью команды SET в spark- sql shell . Я пробовал использовать команду SET в оболочке Spark- Sql, но, похоже, она не работает. Это правильный способ?

Что-то вроде:

spark-sql> SET spark.sql.optimizer.excludeRules org.apache.spark.sql.catalyst.optimizer.PushDownPredicate;

Как я могу использовать команду SET? Любая помощь приветствуется.

Answer 1

Желаемый результат может быть достигнут следующим из spark-sql:

SET spark.sql.optimizer.excludedRules=org.apache.spark.sql.catalyst.optimizer.PushDownPredicate

Answer 2

spark.sparkContext.hadoopConfiguration.set("spark.hadoop.fs.s3a.multiobjectdelete.enable", "false")

или

spark.sql("SET spark.sql.hive.metastore.version=2.3.2"). 

// spark: SparkSession