Scala читает файл Json как Json

Question

Я бы хотел прочитать файл Json как Json без разбора.Я не хочу использовать фрейм данных, я только хотел бы прочитать его как обычный файл с неизменным форматом.Любая идея ?Я пытался читать с использованием wholtextfile, но это создает DF.

Answer 1

Поскольку вы не приняли специфический для искры ответ, возможно, вы могли бы попробовать использовать обычное решение для scala, подобное этому (с использованием библиотеки spray-json ):

import spray.json._

val source = scala.io.Source.fromFile("yourFile.txt")
val lines = try source.mkString finally source.close()
val yourJson = lines.parseJson

Answer 2

Я заметил, что вы указали метку apache-spark, если вы имели в виду что-то для vanilla scala, этот ответ не будет применим.Используя этот код, вы можете получить RDD[String], который является наиболее текстовым типом структуры распределенных данных.

// Where sc is your spark context

> val textFile = sc.textFile("myFile.json")
textFile: org.apache.spark.rdd.RDD[String]