Основные примеры Hadoop WordCount

Question

Я получаю эту ошибку в основном из конфигурации коробки из версии 0.20.203.0

Где искать потенциальную проблему.Большая часть конфигурации из коробки.Мне удалось посетить локальные веб-сайты для hdfs, диспетчера задач.

Я предполагаю, что ошибка связана с проблемой разрешений в Cygwin и Windows.Также, прибегая к помощи проблемы, они говорят, что может быть какая-то проблема нехватки памяти.Это такой простой пример, я не понимаю, как это могло быть.

Когда я пытаюсь запустить примеры wordcount.

$ hadoop jar hadoop-examples-0.20.203.0.jarwordcount / user / hduser / gutenberg / user / hduser / gutenberg-output6

I get this error:

2011-08-12 15:45:38,299 WARN org.apache.hadoop.mapred.TaskRunner:
attempt_201108121544_0001_m_000008_2 : Child Error
java.io.IOException: Task process exit with nonzero status of 127.
 at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:258)
2011-08-12 15:45:38,878 WARN org.apache.hadoop.mapred.TaskLog: Failed to
retrieve stdout log for task: attempt_201108121544_0001_m_000008_1
java.io.FileNotFoundException:
E:\projects\workspace_mar11\ParseLogCriticalErrors\lib\h\logs\userlogs\j
ob_201108121544_0001\attempt_201108121544_0001_m_000008_1\log.index (The
system cannot find the file specified)
 at java.io.FileInputStream.open(Native Method)
 at java.io.FileInputStream.<init>(FileInputStream.java:106)
 at
org.apache.hadoop.io.SecureIOUtils.openForRead(SecureIOUtils.java:102)
 at
org.apache.hadoop.mapred.TaskLog.getAllLogsFileDetails(TaskLog.java:112)
...

Каталог userlogs / job * пуст.Может быть, есть какая-то проблема с разрешениями для этих каталогов.

Я работаю в Windows с Cygwin, поэтому я не знаю, какие разрешения устанавливать.

Answer 1

Я не мог понять эту проблему с текущей версией hadoop.Я вернулся с текущей версии и перешел к предыдущему выпуску hadoop-0.20.2.Мне пришлось поиграться с конфигурационным файлом core-site.xml и временными каталогами, но в итоге я заставил hdfs и map Reduction работать должным образом.

Похоже, проблема заключается в cygwin, windows и настройке диска, которые яиспользовал.Hadoop запускает новый процесс JVM, когда он пытается вызвать «дочернюю» карту / задачу сокращения.Фактический оператор выполнения jvm находится в каком-то сценарии оболочки.

В моем случае hadoop не смог найти путь к сценарию оболочки.Я предполагаю, что ошибка кода состояния 127 была результатом выполнения Java Runtime, не находящего сценарий оболочки.