Разница между записью файлов с использованием spark и scala и преимуществами?

Question

DF().write
  .format("com.databricks.spark.csv")
  .save("filepath/selectedDataset.csv") 

против

scala.tools.nsc.io.File("/Users/saravana-6868/Desktop/hello.txt").writeAll("String"))

В приведенном выше коде я использовал для записи файла, используя как dataframes, так и scala. В чем разница в приведенном выше коде?

Answer 1

Первый фрагмент кода относится к API SPARK для записи фрейма данных в файл в формате csv. Вы можете писать в hdfs или локальную файловую систему, используя это. даже вы можете перераспределить и распараллелить вашу запись. Второй фрагмент кода - это SCALA API, который может писать только в локальной файловой системе. Вы не можете распараллелить это. Первый код управляет всем кластером, но не вторым фрагментом кода.