Как я могу включить раздел hive Dynami c в моем локальном сеансе pyspark

Question

Я пытаюсь включить раздел Dynami c в моем локальном сеансе Spark (не в режиме приложения)

Я выполняю команды ниже в моей оболочке pyspark (используя Spark 2.4)

spark.sqlContext.setConf ("hive.exe c .dynami c .partition", "true") spark.sqlContext.setConf ("hive.exe c .dynami c .partition.mode" , "нестрогий")

ошибка ниже AttributeError: объект 'SparkSession' не имеет атрибута 'sqlContext'

Answer 1

Можете ли вы попробовать получить контекст как

from pyspark.sql import SQLContext
sqlContext = SQLContext(spark.sparkContext)
sqlContext.setConf("hive.exec.dynamic.partition", "true") 
sqlContext.setConf("hive.exec.dynamic.partition.mode", "nonstrict")