Ошибка в использовании Hadoop MapReduce в Eclipse - PullRequest
Новая
       22

Ошибка в использовании Hadoop MapReduce в Eclipse

3 голосов
/ 15 января 2010

Когда я выполнил программу MapReduce в Eclipse, используя Hadoop , я получил следующую ошибку:
Это должно быть какое-то изменение в пути, но я не могу понять это.
Есть идеи? 

16:35:39 INFO mapred.JobClient: Task Id : attempt_201001151609_0001_m_000006_0, Status : FAILED
java.io.FileNotFoundException: File C:/tmp/hadoop-Shwe/mapred/local/taskTracker/jobcache/job_201001151609_0001/attempt_201001151609_0001_m_000006_0/work/tmp does not exist.
    at org.apache.hadoop.fs.RawLocalFileSystem.getFileStatus(RawLocalFileSystem.java:361)
    at org.apache.hadoop.fs.FilterFileSystem.getFileStatus(FilterFileSystem.java:245)
    at org.apache.hadoop.mapred.TaskRunner.setupWorkDir(TaskRunner.java:519)
    at org.apache.hadoop.mapred.Child.main(Child.java:155)

Ответы [ 3 ]

0 голосов
/ 09 мая 2011

проверьте core-site.xml и hdfs-site.xml , чтобы увидеть, где находится их адрес. оба они должны быть hdfs: // localhost: [port] или file: ///

0 голосов
/ 14 июня 2015

Как правило, если вы используете cdh 5, cloudera quickstart VM, тогда это 8021 и 8020 соответственно, если вы не выполните дополнительную настройку.

0 голосов
/ 15 января 2010

Принимая во внимание сообщение об ошибке ([...]6_0/work/tmp does not exist), первыми должны быть проверены следующие проблемы:

Выдержка:

Если вы установили его правильно, вы сможете запустить перспективу MapReduce и вид Map / Reduce. Оба находятся под Window > Open Perspective и Show View соответственно.

  • Нажмите на синего слона в правом верхнем углу экрана Map/Reduce. Откроется окно конфигурации.
  • Введите любое имя для имени местоположения. Я просто назвал это localhost cluster.
  • Установите номера портов для Map / Reduce Master и DFS Master. Найдите в вашем conf / hadoop- site.xml слова "mapred.job.tracker" и "dfs.default.name" соответственно. Если нет в этом файле, то, вероятно, в hadoop-default.xml или hadoop-env.xml.
  • Перейдите на вкладку «Advanced Parameters» и установите параметр «mapred.job.tracker». По какой-то причине он не изменяется автоматически при изменении на вкладке «Общие».
  • Имя пользователя должно быть у того, кто владеет hadoop. Для меня это просто мой логин, другие делают отдельного пользователя "hadoop" для hadoop.
  • Если вы все сделали правильно, вы сможете щелкнуть треугольники слева, чтобы охватить представление иерархии.
...