Пример Hadoop WordCount - PullRequest
Новая
       9

Пример Hadoop WordCount

0 голосов
/ 30 декабря 2011

После успешно созданной среды hadoop, когда я собираюсь запустить этот пример wordcount в hadoop с версией 0.19.1, он выдает ошибку типа, как я могу решить эту проблему 

11/12/30 06:46:13 INFO mapred.FileInputFormat: Total input paths to process : 1

11/12/30 06:46:14 INFO mapred.JobClient: Running job: job_201112300255_0019

11/12/30 06:46:15 INFO mapred.JobClient:  map 0% reduce 0%

11/12/30 06:46:20 INFO mapred.JobClient: Task Id : attempt_201112300255_0019_m_000003_0, Status : FAILED

java.io.IOException: Task process exit with nonzero status of 1.
    at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:425)

11/12/30 06:46:24 INFO mapred.JobClient: Task Id : attempt_201112300255_0019_m_000003_1, Status : FAILED

java.io.IOException: Task process exit with nonzero status of 1.
    at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:425)

11/12/30 06:46:28 INFO mapred.JobClient: Task Id : attempt_201112300255_0019_m_000003_2, Status : FAILED

java.io.IOException: Task process exit with nonzero status of 1.
    at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:425)

11/12/30 06:46:35 INFO mapred.JobClient: Task Id : attempt_201112300255_0019_m_000002_0, Status : FAILED

java.io.IOException: Task process exit with nonzero status of 1.
    at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:425)

11/12/30 06:46:39 INFO mapred.JobClient: Task Id : attempt_201112300255_0019_m_000002_1, Status : FAILED

java.io.IOException: Task process exit with nonzero status of 1.
    at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:425)

11/12/30 06:46:44 INFO mapred.JobClient: Task Id : attempt_201112300255_0019_m_000002_2, Status : FAILED

java.io.IOException: Task process exit with nonzero status of 1.
    at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:425)

Exception in thread "main" java.io.IOException: Job failed!
    at org.apache.hadoop.mapred.JobClient.runJob(JobClient.java:1232)
    at word.count.WordCount.main(WordCount.java:53)

Please help me out to resolve this error.

1 Ответ

2 голосов
/ 31 декабря 2011

Используемая вами версия hadoop имеет трекер работ, который управляет всей работой.И для каждой части этой работы (называемой задачей) средство отслеживания задач, которое фактически выполняет эту работу.Вывод, который вы предоставили, является выводом трекера задания, который по существу говорит: задача не выполнена.Чтобы выяснить, что на самом деле пошло не так в этой задаче, вы должны взглянуть на файлы журналов, которые относятся к неудавшейся задаче.

Вы можете получить доступ к этим журналам через веб-интерфейс mapreduce вашего кластера.

...