Spark Scala - Как создать Scala Map из вложенного JSON? - PullRequest
Новая
       23

Spark Scala - Как создать Scala Map из вложенного JSON?

0 голосов
/ 03 января 2019

У меня есть вложенные данные JSON с вложенными полями, которые я хочу извлечь и построить карту Scala.

Вот пример JSON: 

"nested_field": [
  {
    "airport": "sfo",
    "score": 1.0
  },
  {
    "airport": "phx",
    "score": 1.0
  },
  {
    "airport": "sjc",
    "score": 1.0
  }
]

Я хочу использовать saveToES () и создайте карту Scala для индексации поля в индекс ES с отображением, как показано ниже: 

 "nested_field": {
    "properties": {
      "score": {
        "type": "double"
      },
      "airport": {
        "type": "keyword",
        "ignore_above": 1024
      }
    }
  }

Файл json считывается в кадр данных с использованием примера spark.read.json (").json ").Как правильно построить карту Scala в этом случае?

Спасибо за любую помощь!

1 Ответ

0 голосов
/ 03 января 2019

Вы можете сделать это, используя приведенный ниже пример кода 

import org.json4s.DefaultFormats
import org.json4s.jackson.JsonMethods.parse



  case class AirPortScores(airport: String, score: Double)
  case class JsonRulesHandler(airports: List[AirPortScores])

  val jsonString: String = """{"airports":[{"airport":"sfo","score":1},{"airport":"phx","score":1},{"airport":"sjc","score":1}]}"""

  def loadJsonString(JsonString: String): JsonRulesHandler = {
  implicit val formats: DefaultFormats.type = org.json4s.DefaultFormats
  parse(JsonString).extract[JsonRulesHandler]
}

val parsedJson: JsonRulesHandler = loadJsonString(jsonString)
parsedJson.airports.foreach(println)//you can select parsedJson.airport or scores
//below ouput
AirPortScores(sfo,1.0)
AirPortScores(phx,1.0)
AirPortScores(sjc,1.0)
...