Я застрял с этой проблемой на 2 дня. Я использую Hadoop (CDHu3). Я испробовал все возможные решения, которые нашел в Google.
Это проблема:
Когда я запустил пример Hadoop "wordcount", журнал диспетчера задач в одном подчиненном узле дал следующие ошибки:
1.WARN org.apache.hadoop.mapred.DefaultTaskController: Оболочка задачи stderr: bash:
/var/tmp/mapred/local/ttprivate/taskTracker/hdfs/jobcache/job_201203131751_0003/attempt_201203131751_0003_m_000006_0/taskjvm.sh:
В доступе отказано
2.WARN org.apache.hadoop.mapred.TaskRunner: попытки_201203131751_0003_m_000006_0: дочерняя ошибка
java.io.IOException: выход из процесса задачи с ненулевым состоянием 126.
3.WARN org.apache.hadoop.mapred.TaskLog: не удалось получить журнал стандартного вывода для задачи: попытки_201203131751_0003_m_000003_0
java.io.FileNotFoundException:
/usr/lib/hadoop-0.20/logs/userlogs/job_201203131751_0003/attempt_201203131751_0003_m_000003_0/log.index
(Нет такого файла или каталога)
Я не смог найти похожие проблемы в Google. Я получил некоторые сообщения, которые кажутся немного уместными и которые предлагают:
- Пользователь * Hadoop
ulimit: Мой ulimit установлен достаточно большим для этого связанного примера
- Память, используемая JVM: Моя JVM использует только Xmx200m, слишком мало, чтобы превысить предел моей машины
- Привилегия mapred.local.dir и logs dir: я установил их с помощью "chmod 777"
- Дисковое пространство заполнено: в моем каталоге журналов и mapred.local.dir достаточно места для Hadoop.
Спасибо вам всем. Я действительно в конце своего остроумия. Я провел дни на этом.
Я действительно ценю любую помощь.