Scala или Java Json Schema Parser / загрузчик из URI

Question

Я хочу прочитать некоторые файлы схемы json из AWS S3 и преобразовать их в Spark StructType. У некоторых из них есть ссылки на другие файлы схемы JSON, поэтому я могу использовать их повторно. Есть ли какая-нибудь библиотека в scala или java, которую я могу использовать для загрузки объединенной схемы, которая объединяет все файлы схемы json и конвертирует их в формат json StructType?

Большое спасибо.

Answer 1

Вы можете сделать это без использования какой-либо библиотеки JSON, просто используя Spark:

import spark.implicits._

val logData = spark.read.json(logFile)
logData.select("city", "street", "place").as[Row]

Но если вам нужно использовать библиотеку JSON для моделирования ваших данных, вы можете использовать spray-json, и когда выЕсли вы хотите преобразовать объект spray в структуру Spark, вы можете преобразовать объект распыления в простую строку и передать его в Spark в качестве входных данных JSON, например:

import spark.implicits._

val rawJsonString = sprayModel.toJson.compactPrint
val otherPeopleDataset = spark.createDataset(
  rawJsonString :: Nil)
val otherPeople = spark.read.json(otherPeopleDataset)

Чтобы увидеть, как spray-json будет работать вScala, вы можете увидеть страницу GitHub:

https://github.com/spray/spray-json

Надеюсь, это поможет!