Mapr distcp: FileNotFoundException - PullRequest
Новая
       80

Mapr distcp: FileNotFoundException

0 голосов
/ 02 октября 2018

Я пытаюсь скопировать файлы между двумя кластерами mapr.

hadoop distcp maprfs:///path/to/source/hive/table maprfs:///path/to/destination/hive/table

В исходной таблице есть некоторые данные, но таблица назначения пуста.Я только что использовал команду создания таблицы в месте назначения.

, но для приведенной выше команды distcp я получаю 

java.io.FileNotFoundException: Requested file maprfs:/var/mapr/cluster/yarn/rm/staging/some_user/.staging/job_1528383939830_608130 does not exist.
    at com.mapr.fs.MapRFileSystem.getMapRFileStatus(MapRFileSystem.java:1262)
    at com.mapr.fs.MapRFileSystem.getFileStatus(MapRFileSystem.java:927)
    at com.mapr.fs.MFS.getFileStatus(MFS.java:151)
    at org.apache.hadoop.fs.AbstractFileSystem.resolvePath(AbstractFileSystem.java:467)
    at org.apache.hadoop.mapred.YARNRunner.createApplicationSubmissionContext(YARNRunner.java:370)
    at org.apache.hadoop.mapred.YARNRunner.submitJob(YARNRunner.java:306)
    at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:243)
    at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1290)
    at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1287)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:422)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1595)
    at org.apache.hadoop.mapreduce.Job.submit(Job.java:1287)
    at org.apache.hadoop.tools.DistCp.createAndSubmitJob(DistCp.java:183)
    at org.apache.hadoop.tools.DistCp.execute(DistCp.java:153)
    at org.apache.hadoop.tools.DistCp.run(DistCp.java:126)
    at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
    at org.apache.hadoop.tools.DistCp.main(DistCp.java:430)

что такое промежуточный файл и как его получить?Мой синтаксис правильный?

...