читать JSON в нескольких искровых данных, используя Scala

Question

моя структура json выглядит примерно так:

{
  "posts": [],
  "persons": [],
  "organizations": [],
  "meta": {
    "sources": [
      "http://loksabha.nic.in/",
      "http://wikidata.org/",
      "http://gender-balance.org/"
    ]
  },
  "memberships": [],
  "events": [],
  "areas": []
}

Я хочу читать сообщения в массив данных, где сообщения - это массив объектов json.аналогично другим массивам json, кроме «meta».массив «sources» внутри «meta» json-объект должен быть прочитан в другой фрейм данных* Заранее спасибо, Шакти

Answer 1

Вы можете использовать функцию расширения.Я думаю, у вас есть что-то вроде

val jsonDf = spark.read.json("your_json.json")
val postsDf = jsonDF.withColumn("post", explode(col("posts")).select("post")