При экспорте данных из Scala в CSV создается только папка

Question

У меня есть spark 2.4.0, и у меня есть фрейм данных

scala> dfExport.show(5)
+--------------+----+---+
|predictedLabel| AAB|AAC|
+--------------+----+---+
|             2|30.0|  1|
|             3|31.1|  2|
|             2|56.0|  1|
|             2|12.0|  3|
|             3|18.0|  2|
+--------------+----+---+
only showing top 5 rows

Я попытался экспортировать его в CSV-файл с кодами ниже.

scala>dfExport.write.format("com.databricks.spark.csv").option("header","true").save("E://...//Output.csv") 
scala>dfExport.write.csv("E://...//Output.csv")

Он только создал папку с именем «Output.csv» под путем и ошибками ниже.Я что-то упустил?

ERROR Executor:91 - Exception in task 0.0 in stage 42.0 (TID 45)
java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.createFileWithMode0(Ljava/lang/String;JJJI)Ljava/io/FileDescriptor;

Answer 1

В конце концов, я попробовал этот пакет Java, и он работал.Каждая строка в кадре данных была преобразована в массив и записана в целевой файл.

import java.io.{File, PrintWriter}

var array=df.collect

val writer = new PrintWriter(new File("E:\\....\\Output.csv" ))

writer.write("AAA,AAB,AAC,AAD"+"\n")

for (i<-0 to array.length-1){
  writer.write(array(i).toString.replace("[","").replace("]","")+"\n")
}

writer.close()