Ошибка в Hadoop MapReduce

Question

Когда я запускаю программу mapreduce с использованием Hadoop, я получаю следующую ошибку.

10/01/18 10:52:48 INFO mapred.JobClient: Task Id : attempt_201001181020_0002_m_000014_0, Status : FAILED
  java.io.IOException: Task process exit with nonzero status of 1.
    at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:418)
10/01/18 10:52:48 WARN mapred.JobClient: Error reading task outputhttp://ubuntu.ubuntu-domain:50060/tasklog?plaintext=true&taskid=attempt_201001181020_0002_m_000014_0&filter=stdout
10/01/18 10:52:48 WARN mapred.JobClient: Error reading task outputhttp://ubuntu.ubuntu-domain:50060/tasklog?plaintext=true&taskid=attempt_201001181020_0002_m_000014_0&filter=stderr

О чем эта ошибка?

Answer 1

Одна из причин, по которой Hadoop выдает эту ошибку, - переполнение каталога, содержащего файлы журнала. Это ограничение файловой системы Ext3 , которая допускает максимум 32000 ссылок на индекс.

Проверьте, насколько заполнен ваш каталог журналов hadoop/userlogs

Простой тест для этой проблемы - просто попытаться создать каталог из командной строки, например: $ mkdir hadoop/userlogs/testdir

Если в пользовательских журналах слишком много каталогов, ОС не сможет создать каталог и сообщить, что их слишком много.

Answer 2

Увеличьте свой предел до неограниченного. или альтернативное решение уменьшить выделенную память.

Answer 3

Другой причиной может быть ошибка JVM, когда вы пытаетесь выделить какое-то выделенное пространство для JVM, а его нет на вашем компьютере.

sample code:
conf.set("mapred.child.java.opts", "-Xmx4096m");

Error message:
Error occurred during initialization of VM
Could not reserve enough space for object heap

Решение: замените -Xmx значением выделенной памяти, которое вы можете предоставить JVM на своем компьютере (например, "-Xmx1024m")

Answer 4

У меня возникла та же проблема, когда мне не хватало места на диске с каталогом журналов.

Answer 5

Если вы создаете исполняемый jar-файл в eclipse, он выдает эту ошибку в системе hadoop. Вы должны извлечь работоспособную часть. Это решило мою проблему.