Как сохранить искровой DF в виде файла CSV?

Question

У меня есть некоторый код Python, который просматривает файлы и создает фрейм данных (DF). Кроме того, я конвертирую Python DF в Spark DF. Это работает нормально.

# convert python df to spark df and export the spark df
spark_df = spark.createDataFrame(DF)

Теперь я пытаюсь сохранить Spark DF в виде файла CSV.

## Write Frame out as Table
spark_df.write.mode("overwrite").save("dbfs:/rawdata/AAA.csv")

Код, приведенный выше, запускается, но не создаетCSV, или, по крайней мере, я не могу найти его там, где я ожидал. Должен быть способ сделать это! Пожалуйста, предложите некоторые рекомендации. Спасибо.

Answer 1

Spark использует путь к выходному каталогу вместо выходного файла при записи фрейма данных, поэтому указанный вами путь "dbfs:/rawdata/AAA.csv" создаст каталог AAA.csv, а не файл. Вам нужно проверить каталог, а не файл. В каталоге вы получите несколько CSV-файлов в зависимости от вашего числа исполнителей.