Получение всех записей как NULL при чтении простого файла JSON в Spark Scala

Question

Я новичок в Scala и изучаю Spark со Scala. Проблема -> У меня есть простой файл JSON, имеющий 20 полей и 100 записей. Я создал код, который читает файл JSON и сохраняет его как CSV. Поэтому каждый раз, когда я читаю файл JSON, я получаю нулевые значения в кадре данных.

CODE ->

sql_c = SQLContext(SparkContext.getOrCreate())
df = sql_c.read.format("json").load("data.json")
df.show()

Я получаю все записи как NULL. Пожалуйста, помогите мне и спасибо заранее.

Answer 1

Попробуйте с сеансом зажигания.

val spark = SparkSession
  .builder()
  .appName("Spark SQL basic example")
  .config("spark.some.config.option", "some-value")
  .getOrCreate()

val df = spark.read.json("data.json")
df.show()