переменная искры в pyspark против SparkSession

Question

Когда мы запускаем pyspark (spark 2.4), он поставляется с функцией подчеркивания для вызова переменной spark.поэтому, когда вызывать и использовать методы SparkSession и SparkContext, если «искра» уже доступна.

Answer 1

Используя spark 2.4, вы, вероятно, видите в своем журнале что-то вроде этого:

Spark context available as 'sc' (master = yarn, app id = application...).
Spark session available as 'spark'.

Согласно блогу базы данных :

В предыдущих версияхSpark, вам нужно было создать SparkConf и SparkContext для взаимодействия со Spark, как показано здесь:

//set up the spark configuration and create contexts
val sparkConf = new SparkConf().setAppName("SparkSessionZipsExample").setMaster("local")
// your handle to SparkContext to access other context like SQLContext
val sc = new SparkContext(sparkConf).set("spark.some.config.option", "some-value")
val sqlContext = new org.apache.spark.sql.SQLContext(sc)

Принимая во внимание, что в Spark 2.0 те же эффекты могут быть достигнуты через SparkSession без объяснения созданияSparkConf, SparkContext или SQLContext, так как они инкапсулированы в SparkSession.

Итак:

1. В вашем случае spark - это просто псевдоним SparkSession.

2. Вам не нужно использовать SparkContext, поскольку он инкапсулирован в SparkSession.