Как прочитать файл CSV, а затем сохранить его как JSON в Spark Scala?

Question

Я пытаюсь прочитать CSV-файл, содержащий около 7 миллионов строк и 22 столбца.

Как сохранить его в виде файла JSON после чтения CSV в кадре данных Spark?

Answer 1

Считайте файл CSV как фрейм данных

val spark = SparkSession.builder().master("local[2]").appname("test").getOrCreate
val df = spark.read.csv("path to csv")

Теперь вы можете выполнить некоторую операцию для df и сохранить как JSON

df.write.json("output path")

Надеюсь, это поможет!