У меня есть DF с ~ 500K записями:
org.apache.spark.sql.DataFrame
Я пытаюсь записать DF в папку HDFS:
someDF.write.format("com.databricks.spark.csv").option("header", "true").save("hdfs/path/my_folder")
Я не получаю никаких ошибок,но в папке есть только пустые файлы.
Есть предложения по этому вопросу?