Получение сообщения об ошибке «PriviledgedActionException as: cloudera (auth: SIMPLE)» при запуске задания Hadoop на виртуальной машине cloudera quickstart? - PullRequest
Новая
       7

Получение сообщения об ошибке «PriviledgedActionException as: cloudera (auth: SIMPLE)» при запуске задания Hadoop на виртуальной машине cloudera quickstart?

0 голосов
/ 13 сентября 2018

Я запускаю программу wordcount на виртуальной машине Cloudera и получаю сообщение об ошибке ниже: 

18/09/13 17:02:58 WARN security.UserGroupInformation: PriviledgedActionException as:cloudera (auth:SIMPLE) cause:org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: hdfs://quickstart.cloudera:8020/home/cloudera/kh/file
Exception in thread "main" org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: hdfs://quickstart.cloudera:8020/home/cloudera/kh/file
        at org.apache.hadoop.mapreduce.lib.input.FileInputFormat.singleThreadedListStatus(FileInputFormat.java:323)
        at org.apache.hadoop.mapreduce.lib.input.FileInputFormat.listStatus(FileInputFormat.java:265)
        at org.apache.hadoop.mapreduce.lib.input.FileInputFormat.getSplits(FileInputFormat.java:387)
        at org.apache.hadoop.mapreduce.JobSubmitter.writeNewSplits(JobSubmitter.java:305)
        at org.apache.hadoop.mapreduce.JobSubmitter.writeSplits(JobSubmitter.java:322)
        at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:200)
        at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1307)
        at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1304)
        at java.security.AccessController.doPrivileged(Native Method)
        at javax.security.auth.Subject.doAs(Subject.java:415)
        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1917)
        at org.apache.hadoop.mapreduce.Job.submit(Job.java:1304)
        at org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:1325)
        at mapreduce.test.testprograms.App.main(App.java:42)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:606)
        at org.apache.hadoop.util.RunJar.run(RunJar.java:221)
        at org.apache.hadoop.util.RunJar.main(RunJar.java:136)

Ниже приведена команда, которую я использую: 

hadoop jar /home/cloudera/kh/App.jar mapreduce.test.testprograms.App /home/cloudera/kh/file/ /home/cloudera/kh/out/

Я проверил каталог ввода, и он присутствуеттам:

[cloudera @ quickstart ~] $ ls -ltr |grep kh drwxrwxrwx 4 cloudera cloudera 4096 13 сен 15:20 kh

Есть идеи?

...