Передача sparkSession для работы в Scala - Spark 2.1 - PullRequest
Новая
       16

Передача sparkSession для работы в Scala - Spark 2.1

0 голосов
/ 26 сентября 2018

Я перехожу с версии Spark 1.6 на 2.1 и смотрю на упомянутую ниже функцию в Scala, пытаясь выяснить, как передать переменную SparkSession в функцию вместо sqlContext - 

private def readHiveTable(sqlContext: HiveContext, hiveTableNm: String, 
hiveWorkDb: String): DataFrame

Я имею в виду, изменится ли sqlContext на sparkSession?Как правильно передать эту переменную в Spark 2.1?может быть что-то вроде - 

private def readHiveTable(spark: sparkSession, hiveTableNm: String, 
hiveWorkDb: String): DataFrame

ОБНОВЛЕНИЕ

Решено это путем передачи - spark: SparkSession вместо sqlContext: HiveContext

...