Как получить доступ к файлу в Windows, используя Spark и winutils?

Question

Я запускаю искру на окнах, используя winutils.В оболочке spark при попытке загрузить CSV-файл, но он говорит Path does not exist, т.е. у меня есть файл по адресу E: /data.csv.
Я выполняю:

scala> val df = spark.read.option("header","true").csv("E:\\data.csv")

Ошибка:

org.apache.spark.sql.AnalysisException: Path does not exist: file:/E:/data.csv;
  at org.apache.spark.sql.execution.datasources.DataSource$$anonfun$org$apache$spark$sql$execution$datasources$DataSource$$checkAndGlobPathIfNecessary$1.apply(DataSource.scala:558)

Я не могу понять, почему он добавляет "/ E:" , тогда как это должно было быть только E:
Как мне получить доступ к файлу?

Answer 1

В моем случае я могу прочитать файл следующим образом: val input = spark.sqlContext.read.format ("com.databricks.spark.csv"). Option ("header", "true") .option ("delimiter", ";"). option ("quoteAll", "true"). option ("inferSchema", "false"). load ("C: /Work/test.csv"). toDF ()