Как сохранить DataFrame в виде csv-файла, используя pyspark?

Question

Почему этот подход не работает?

from pyspark.sql import SparkSession

spark = SparkSession.builder.appName('session').getOrCreate()
df = spark.range(5).toDF("index")
filepath = r"C:/my_favorite_directory"
df.write.csv(filepath)

---

Обновление

Приведенный выше код работает нормально, проблема заключалась в том, что я не указал имел oop двоичный путь для ссылки на двоичный файл winutils, который необходим pyspark для записи csv-файлов.

Answer 1

Ваш путь к файлу должен заканчиваться .csv или расширением файла. Вы предоставляете каталог, который неправильный