Невозможно скопировать фрейм данных из pyspark в файл csv в Databricks

Question

• 1000 . Хотя ошибки нет, но фрейм данных не копируется в csv. Ниже приведен общий c код

path = “ “ #CSV File Location
header = “This is the header of the file"
With open(path,”a”) as f:
    f.write(header+”\n”)
    df.write.csv(path=path,format=“csv”,mode=“append”)
    f.close

В файле отражается только заголовок, а не фрейм данных

Answer 1

Вы можете записать свой фрейм данных как csv, используя это:

df.coalesce(1).write.format("com.databricks.spark.csv").option("header", "true").save("dbfs:/FileStore/df.csv")

Coalesce избегает сохранения его в нескольких разделах. Вы можете указать свой собственный путь в качестве параметра в save().