Spark RDD saveAsTextFile выдает java.io.IOException: Mkdirs не удалось создать - PullRequest
Новая
       5

Spark RDD saveAsTextFile выдает java.io.IOException: Mkdirs не удалось создать

0 голосов
/ 25 октября 2019

Я использую spark 1.6.3 и пытаюсь сохранить rdd как textFile, но получаю следующую ошибку. 

pRdd = opRdd.coalesce(1);
opRdd.saveAsTextFile("file:///home/user1/Tarun/voucher");


java.io.IOException: Mkdirs failed to create file:/home/user1/Tarun/voucher/_temporary/0/_temporary/attempt_201910261108_0002_m_000000_25 (exists=false, cwd=file:/opt/spark-1.6.3-3/work/app-20191026110834-0031/0)
        at org.apache.hadoop.fs.ChecksumFileSystem.create(ChecksumFileSystem.java:442)
        at org.apache.hadoop.fs.ChecksumFileSystem.create(ChecksumFileSystem.java:428)
        at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:908)
        at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:801)
        at org.apache.hadoop.mapred.TextOutputFormat.getRecordWriter(TextOutputFormat.java:123)
        at org.apache.spark.SparkHadoopWriter.open(SparkHadoopWriter.scala:91)
        at org.apache.spark.rdd.PairRDDFunctions$$anonfun$saveAsHadoopDataset$1$$anonfun$13.apply(PairRDDFunctions.scala:1191)
        at org.apache.spark.rdd.PairRDDFunctions$$anonfun$saveAsHadoopDataset$1$$anonfun$13.apply(PairRDDFunctions.scala:1183)
        at org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:66)
        at org.apache.spark.scheduler.Task.run(Task.scala:89)
        at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:227)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
        at java.lang.Thread.run(Thread.java:748)

В чем проблема?

Я дал 777разрешение на папку Тарун. Я отправляю код с помощью spark-submit на машине Unix.

1 Ответ

0 голосов
/ 25 октября 2019

Я получил решение и хотел бы дать решение. Я изменил папку на / tmp / Tarun /, и файл был сохранен.

...