SparkSql не может подключиться к локальным файлам в Windows FS - PullRequest
Новая
       19

SparkSql не может подключиться к локальным файлам в Windows FS

0 голосов
/ 31 мая 2019

Я установил Apache Spark в своей локальной системе Windows. Я пытался читать локальные файлы из системы Windows, используя оболочку spark. Но это дает исключение «Путь к входу не существует». Пожалуйста, предложите, как читать локальные файлы Windows, используя spark-shell.

Я пробовал все эти способы 

sc.textFile("file:///D:/test/abc.txt").count()
sc.textFile("file:///D://test//abc.txt").count()

sc.textFile("file:///D:/test/abc.txt").count()

org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: file:/D:/test/abc.txt
  at org.apache.hadoop.mapred.FileInputFormat.singleThreadedListStatus(FileInputFormat.java:287)
  at org.apache.hadoop.mapred.FileInputFormat.listStatus(FileInputFormat.java:229)
  at org.apache.hadoop.mapred.FileInputFormat.getSplits(FileInputFormat.java:315)
  at org.apache.spark.rdd.HadoopRDD.getPartitions(HadoopRDD.scala:200)
  at org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:253)
  at org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:251)
  at scala.Option.getOrElse(Option.scala:121)
  at org.apache.spark.rdd.RDD.partitions(RDD.scala:251)
  at org.apache.spark.rdd.MapPartitionsRDD.getPartitions(MapPartitionsRDD.scala:46)
  at org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:253)
  at org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:251)
  at scala.Option.getOrElse(Option.scala:121)
  at org.apache.spark.rdd.RDD.partitions(RDD.scala:251)
  at org.apache.spark.SparkContext.runJob(SparkContext.scala:2099)
  at org.apache.spark.rdd.RDD.count(RDD.scala:1168)
  ... 49 elided
...