java.io.IOException: нет файловой системы для схемы: maprfs.Добавление jar maprfs в bash_profile не работает - PullRequest
Новая
       43

java.io.IOException: нет файловой системы для схемы: maprfs.Добавление jar maprfs в bash_profile не работает

0 голосов
/ 19 марта 2019

Я получаю следующую ошибку при запуске следующей команды через spark-shell. Я также добавил банку maprfs в свой bash_profile, как показано ниже. Я пробовал большинство решений из аналогичных постов, но не смог это исправить. 

scala> val input = sc.textFile("maprfs:///user/uber/list/brand.txt")
input: org.apache.spark.rdd.RDD[String] = maprfs:///user/uber/list/brand.txt MapPartitionsRDD[1] at textFile at <console>:24

scala> input.count()
java.io.IOException: No FileSystem for scheme: maprfs
  at org.apache.hadoop.fs.FileSystem.getFileSystemClass(FileSystem.java:2660)
  at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2667)
  at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:94)
  at org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:2703)
  at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:2685)
  at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:373)
  at org.apache.hadoop.fs.Path.getFileSystem(Path.java:295)
  at org.apache.hadoop.mapred.FileInputFormat.singleThreadedListStatus(FileInputFormat.java:258)
  at org.apache.hadoop.mapred.FileInputFormat.listStatus(FileInputFormat.java:229)
  at org.apache.hadoop.mapred.FileInputFormat.getSplits(FileInputFormat.java:315)
  at org.apache.spark.rdd.HadoopRDD.getPartitions(HadoopRDD.scala:204)
  at org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:253)
  at org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:251)
  at scala.Option.getOrElse(Option.scala:121)
  at org.apache.spark.rdd.RDD.partitions(RDD.scala:251)
  at org.apache.spark.rdd.MapPartitionsRDD.getPartitions(MapPartitionsRDD.scala:49)
  at org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:253)
  at org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:251)
  at scala.Option.getOrElse(Option.scala:121)
  at org.apache.spark.rdd.RDD.partitions(RDD.scala:251)
  at org.apache.spark.SparkContext.runJob(SparkContext.scala:2126)
  at org.apache.spark.rdd.RDD.count(RDD.scala:1168)
  ... 49 elided

bash_profile:

export MAPR_HOME = / opt / mapr / hadoop / hadoop-2.7.0 / share / hadoop / common / lib / maprfs-5.1.0-mapr.jar экспорт PATH = $ MAPR_HOME: $ PATH

Ответы [ 2 ]

0 голосов
/ 04 апреля 2019

Похоже, вы используете версию Spark, в которой нет различных jar-файлов MapR в пути к классам.Трудно сказать, поскольку вы не предоставляете никакой информации о том, какую версию программного обеспечения вы используете.

Пробовали ли вы использовать поставляемую версию MapR?

0 голосов
/ 19 марта 2019

Если вы посмотрите на архитектуру Spark, вы увидите, что у вас есть драйверы и исполнители.Когда вы устанавливаете среду, как вы это сделали, это повлияет на ваш драйвер, а не на исполнителя.

Посмотрите на этот вопрос .Это должно помочь вам.

...