Извлечь SparkSession из SparkContext

Question

Я пытаюсь загрузить список в фрейм данных в рамках моих тестов с использованием функции toDF, но проблема в том, что я не могу создать / получить SparkSession. Следовательно, я не могу использовать метод toDF. Тем не менее, я могу создать SparkContext.

Можно ли как-нибудь получить SparkSession из SparkContext или есть способ загрузить список в фрейм данных, кроме метода toDF?

Answer 1

Вы можете использовать приведенный ниже синтаксис рабочего кода. Пожалуйста, проверьте версию искры, которую вы используете, поскольку она доступна только для 2.0 или выше. Если вы получаете какую-то другую ошибку, пожалуйста, опубликуйте ее в теме.

val spark = SparkSession
          .builder()
          .master("local")
          .appName("ReadDataFromTextFile")
          .getOrCreate()

val file_2 = spark.read.option("multiline", "true").json("d:/small_projects/spark/cobrand_config.json")