Как записать dataframe как массив json в файл?(Scala)

Question

У меня есть фрейм данных, и я хочу записать его как массив json в один файл в Scala.

попытка 1:

dataframe.coalesce(1).write.format("json").save(destDir)

вывод 1: Одна строка на строку, где каждая строка является json

попытка 2:

dataframe.toJSON.coalesce(1).write.format("json").save(destDir)

вывод 2: такой же, как вывод 1, но странный вид json на каждомстрока {значение: {ключ1: значение1, ключ2: значение2, ...}

попытка 3 (запись в виде строки с использованием Java PrintWriter):

printWriter.write(dataframe.toJSON.collect.mkString("[",",","]"))

вывод3:

Он записывает массив json в локальный путь.Если путь для hdfs, он говорит FileNotFound, даже если путь + файл существуют.

Answer 1

Попробуйте следующее для версии Spark 2 +

dataframe.coalesce(1).write.json(destDir)