Проблема запуска TaskTracker в Hadoop под Windows - PullRequest
Новая
       13

Проблема запуска TaskTracker в Hadoop под Windows

7 голосов
/ 08 июня 2011

Я пытаюсь использовать hadoop под Windows, и у меня возникает проблема, когда я хочу запустить TaskTracker.Например: 

$bin/start-all.sh

тогда в журналах пишет: 

2011-06-08 16:32:18,157 ERROR org.apache.hadoop.mapred.TaskTracker: Can not start task tracker because java.io.IOException: Failed to set permissions of path: /tmp/hadoop-Administrator/mapred/local/taskTracker to 0755
    at org.apache.hadoop.fs.RawLocalFileSystem.checkReturnValue(RawLocalFileSystem.java:525)
    at org.apache.hadoop.fs.RawLocalFileSystem.setPermission(RawLocalFileSystem.java:507)
    at org.apache.hadoop.fs.RawLocalFileSystem.mkdirs(RawLocalFileSystem.java:318)
    at org.apache.hadoop.fs.FilterFileSystem.mkdirs(FilterFileSystem.java:183)
    at org.apache.hadoop.mapred.TaskTracker.initialize(TaskTracker.java:630)
    at org.apache.hadoop.mapred.TaskTracker.<init>(TaskTracker.java:1328)
    at org.apache.hadoop.mapred.TaskTracker.main(TaskTracker.java:3430)

В чем проблема?Как я могу решить это?Спасибо!

Ответы [ 5 ]

5 голосов
/ 16 августа 2012

Я столкнулся с этой проблемой при установке 1.0.3 на сервере Windows. Я изменил каталог по умолчанию в hdfs-site.xml, чтобы каталог, созданный hadoop для dfs, был подкаталогом каталога cygwin, как этот ...

... 

 <property>
    <name>dfs.name.dir</name>
    <value>c:/cygwin/usr/mydir/dfs/logs</value>
 </property>
 <property>
    <name>dfs.data.dir</name>
    <value>c:/cygwin/usr/mydir/dfs/data</value>
 </property>
</configuration>

Это, похоже, решило проблему.

Документация apache для файлов конфигурации: здесь

1 голос
/ 18 апреля 2012

Эта проблема отслеживается на https://issues.apache.org/jira/browse/HADOOP-7682

0 голосов
/ 23 июня 2011

Используйте это изменение владельца папки hadoop-Admininstrator. Для этого вы можете использовать команду chown.

0 голосов
/ 16 января 2012

Эта проблема была поднята в списке рассылки пользователей Apache Hadoop. Кажется, это проблема в некоторых версиях Hadoop, а не в других.

Простым решением является загрузка другой версии Hadoop (при условии, что вам не требуется определенная версия Hadoop по какой-либо другой причине).

Я столкнулся с этой проблемой в версии 1.0.0 (бета).

Затем я попробовал 0.23.0, но получил фатальное исключение ClassNotFoundException: 

log4j:ERROR Could not find value for key log4j.appender.NullAppender
log4j:ERROR Could not instantiate appender named "NullAppender".
Exception in thread "main" java.lang.ClassNotFoundException: hadoop-mapreduce-examples-0.23.0.jar
    at java.net.URLClassLoader$1.run(URLClassLoader.java:366)
    at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
    at java.security.AccessController.doPrivileged(Native Method)
    at java.net.URLClassLoader.findClass(URLClassLoader.java:354)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:423)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:356)
    at java.lang.Class.forName0(Native Method)
    at java.lang.Class.forName(Class.java:264)
    at org.apache.hadoop.util.RunJar.main(RunJar.java:182)

Наконец я попробовал версию 0.22.0, и она работала без ошибок. Поэтому я рекомендую попробовать загрузить и установить версию 0.22.0: http://hadoop.apache.org/common/releases.html#10+December%2C+2011%3A+release+0.22.0+available

0 голосов
/ 08 июня 2011

По-видимому, существует проблема с разрешениями, связанными с путем
/tmp/hadoop-Administrator/mapred/local/taskTracker
, о чем свидетельствует сообщение об ошибке 

ERROR org.apache.hadoop.mapred.TaskTracker: Can not start task tracker because java.io.IOException: Failed to set permissions of path: /tmp/hadoop-Administrator/mapred/local/taskTracker

Учетная запись, под которой запускается taskTracker, нуждается в возможностиchmod указанная папка.Может потребоваться больше контроля, например, быть владельцем, для других аспектов.Я не помню конкретных разрешений, требуемых для компонентов в настройке hadoop.

Я не очень много занимался аспектом настройки разрешений Hadoop, особенно в отношении окон (вообще), поэтому я говорю следующее:основано на сообщении об ошибке, которое вы предоставили.У меня также нет проблем с разрешением папки cygwin, поэтому я не знаю, как это исправить, но, надеюсь, это укажет вам правильное направление.

...