сохранение текстового файла в граничный узел из искры

Question

Я пытаюсь сохранить текстовый файл на граничном узле от spark.

, чтобы проверить мой код. Я читаю пример файла из hdfs в виде набора данных и записываю его на граничный узел. Пожалуйста, найдите мой код ниже

val dataone = sparkSession.read.textFile("/user/projects/folder1/employee.txt")
 dataone.write.mode("append").format("text").save("file:///edge_node_folder1/edge_node_folder2/employee.txt")

в HDFS мой образец файла находится в формате текстового файла.Но на граничном узле он сохраняется как файлы деталей внутри папки с именем employee.txt

. Существует ли способ сохранить файл как текстовый файл на граничном узле (не внутри папки) и с тем же именем, как указано впуть (а не автоматически сгенерированные имена, которые hasoop дает своим файлам деталей, в моем случае на граничном узле текстовый файл сохраняется в папке employee.txt как

part-00000-808ccd9e-7b7d-4b63-88ae-782d40bb272f-c000.txt
_SUCCESS

)

Answer 1

С помощью «toLocalIterator» можно создать один файл вручную:

val fos = new OutputStreamWriter(new FileOutputStream("/edge_node_folder1/edge_node_folder2/employee.txt"))
val it = dataone.toLocalIterator()
while (it.hasNext) {
  fos.write(it.next())
  fos.write(System.lineSeparator())
}
fos.close()