Ошибка при использовании hadoop-mapreduce-examples-2.7.7.jar - PullRequest
0 голосов
/ 02 ноября 2018

у меня есть hadoop

hadoop @ nodo1: / opt / hadoop $ hadoop версия Hadoop 2.7.7 Subversion Неизвестно -r c1aad84bd27cd79c3d1a7dd58202a8c3ee1ed3ac Скомпилировано stevel 2018-07-18T22: 47Z Скомпилировано с protoc 2.5.0 Из исходного кода контрольная сумма 792e15d20b12c74bd6f19a1fb886490 Эта команда была запущена с помощью /opt/hadoop/share/hadoop/common/hadoop-common-2.7.7.jar

И, как узнали в курсе, я использую

/opt/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar wordcount 

Но когда я запускаю это, появляется следующая ошибка:

hadoop @ nodo1: / opt / hadoop $ hadoop jar /opt/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar wordcount / libros / output3

org.apache.hadoop.mapred.FileAlreadyExistsException: выходной каталог hdfs: // nodo1: 9000 / output3 уже существует в org.apache.hadoop.mapreduce.lib.output.FileOutputFormat.checkOutputSpecs (FileOutputFormat.java:146) в org.apache.hadoop.mapreduce.JobSubmitter.checkSpecs (JobSubmitter.java:266) в org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal (JobSubmitter.java:139) на org.apache.hadoop.mapreduce.Job $ 10.run (Job.java:1290) на org.apache.hadoop.mapreduce.Job $ 10.run (Job.java:1287) at java.security.AccessController.doPrivileged (собственный метод) в javax.security.auth.Subject.doAs (Subject.java:422) в org.apache.hadoop.security.UserGroupInformation.doAs (UserGroupInformation.java:1762) в org.apache.hadoop.mapreduce.Job.submit (Job.java:1287) в org.apache.hadoop.mapreduce.Job.waitForCompletion (Job.java:1308) в org.apache.hadoop.examples.WordCount.main (WordCount.java:87) at sun.reflect.NativeMethodAccessorImpl.invoke0 (собственный метод) at sun.reflect.NativeMethodAccessorImpl.invoke (NativeMethodAccessorImpl.java:62) at sun.reflect.DelegatingMethodAccessorImpl.invoke (DelegatingMethodAccessorImpl.java:43) в java.lang.reflect.Method.invoke (Method.java:498) в org.apache.hadoop.util.ProgramDriver $ ProgramDescription.invoke (ProgramDriver.java:71) в org.apache.hadoop.util.ProgramDriver.run (ProgramDriver.java:144) в org.apache.hadoop.examples.ExampleDriver.main (ExampleDriver.java:74) at sun.reflect.NativeMethodAccessorImpl.invoke0 (собственный метод) at sun.reflect.NativeMethodAccessorImpl.invoke (NativeMethodAccessorImpl.java:62) at sun.reflect.DelegatingMethodAccessorImpl.invoke (DelegatingMethodAccessorImpl.java:43) в java.lang.reflect.Method.invoke (Method.java:498) в org.apache.hadoop.util.RunJar.run (RunJar.java:226) в org.apache.hadoop.util.RunJar.main (RunJar.java:141)

На пути у меня есть книга

hadoop @ nodo1: / opt / hadoop $ hdfs dfs -ls / libros / Найдено 1 записей -rw-r - r-- 1 супергруппа hadoop 2198927 2018-11-02 10:22 /libros/quijote.txt

ТНК с вашей помощи

1 Ответ

0 голосов
/ 02 ноября 2018

Сначала сделай

hdfs dfs -ls /output3

Если есть файл,

Либо Удалить , Выходной каталог hdfs://nodo1:9000/output3 или

Использовать другое имя файла

# Change output3 to output4
hadoop jar /opt/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar wordcount /libros /output4 
...