Spark: в чем разница между spark.sql и sqlCtx.sql

Question

В Spark 2.1 с использованием pyspark, если вы хотите запросить таблицу (например, из HDP), вы можете запустить оба

df = sqlCtx.sql(''' select * from table ''') 

и

df = spark.sql(''' select * from table ''')

Зачем тебе делать одно над другим? В чем разница между этими двумя.

Answer 1

sqlCtx - это значение по умолчанию SQLContext, созданное при запуске. spark - это значение по умолчанию SparkSession, созданное при запуске. Согласно документации для SQLContext SparkSession это замена для SQLContext:

Начиная с Spark 2.0, его заменяет SparkSession. Однако мы сохраняем здесь класс для обратной совместимости.