Как прочитать файл JSON и преобразовать его в класс с помощью Spark и Spray Json - PullRequest
Новая
       30

Как прочитать файл JSON и преобразовать его в класс с помощью Spark и Spray Json

0 голосов
/ 21 мая 2018

У меня есть текстовый файл, содержащий строки json, структура которых показана ниже.

{"city": "London","street": null, "place": "Pizzaria", "foo": "Bar"}

Мне нужно прочитать его как JSON с помощью spark и преобразовать в класс case с приведенным ниже скалярным кодом.Мне нужны только определенные поля, заданные в случае класса из JSON.

 import org.apache.spark.sql.SparkSession
 import spray.json.DefaultJsonProtocol
 import spray.json._


object SimpleExample extends DefaultJsonProtocol {

  case class Row(city: String,
                 street: Option[String],
                 place: String)

  implicit val rowFormat = jsonFormat3(Row)

  def main(args: Array[String]): Unit = {

    val logFile = "example.txt"
    val spark = SparkSession.builder.appName("Simple Application").getOrCreate()
    val logData = spark.read.textFile(logFile).cache()

    import spark.implicits._

    val parsed = logData.map(line => line.parseJson.convertTo[Row])

    println(s"Total Count : ${parsed.count()}")

    spark.stop()
  }
}

Однако, когда я запускаю свое искровое приложение, я получаю следующую ошибку: 

Exception in thread "main" java.lang.NoClassDefFoundError: spray/json/JsonFormat
        at java.lang.Class.getDeclaredMethods0(Native Method)
        at java.lang.Class.privateGetDeclaredMethods(Class.java:2701)
        at java.lang.Class.privateGetMethodRecursive(Class.java:3048)
        at java.lang.Class.getMethod0(Class.java:3018)
        at java.lang.Class.getMethod(Class.java:1784)
        at org.apache.spark.deploy.JavaMainApplication.start(SparkApplication.scala:42)
        at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:879)
        at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:197)
        at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:227)
        at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:136)
        at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)
Caused by: java.lang.ClassNotFoundException: spray.json.JsonFormat
        at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:357)

Я предполагаю, что ошибка связана с импортом, но не может ее решить.

1 Ответ

0 голосов
/ 21 мая 2018

Вы можете прочитать данные непосредственно как json (без spray-json), а затем преобразовать их в набор данных. 

import spark.implicits._

val logData = spark.read.json(logFile)
logData.select("city", "street", "place").as[Row]

Пока имена переменных в классе case совпадают с именами в файле, этобудет работать без проблем.

...