Проблема с разрешением Hadoop DFS при запуске задания

Question

Я получаю следующую ошибку разрешения, и я не уверен, почему hadoop пытается записать в эту конкретную папку:

hadoop jar /usr/lib/hadoop/hadoop-*-examples.jar pi 2 100000
Number of Maps  = 2
Samples per Map = 100000
Wrote input for Map #0
Wrote input for Map #1
Starting Job
org.apache.hadoop.security.AccessControlException: org.apache.hadoop.security.AccessControlException: Permission denied: user=myuser, access=WRITE, inode="/":hdfs:supergroup:drwxr-xr-x

Любая идея, почему он пытается записать в корень моих hdfs?

Обновление: После временной установки прав доступа hdfs (/) для 777 разрешений, я увидел, что папка "/ tmp" пишется.Я полагаю, что один из вариантов - просто создать папку "/ tmp" с открытыми разрешениями для всех, в которую можно писать, но было бы неплохо с точки зрения безопасности, если вместо этого она будет записана в папку пользователя (т.е. / user / myuser / tmp)

Answer 1

Я смог заставить это работать со следующими настройками:

<configuration>
    <property>
        <name>mapreduce.jobtracker.staging.root.dir</name>
        <value>/user</value>
    </property>

    #...

</configuration>

Требуется также перезапуск службы Jobtracker (особая благодарность Джеффу из списка рассылки Hadoop за помощь в поиске проблемы!)*

Answer 2

1) Создайте каталог {mapred.system.dir} / mapred в hdfs, используя следующую команду

sudo -u hdfs hadoop fs -mkdir /hadoop/mapred/

2) Дать разрешение отображенному пользователю

sudo -u hdfs hadoop fs -chown mapred:hadoop /hadoop/mapred/

Answer 3

Вам нужно установить разрешение для корневого каталога hadoop (/) вместо того, чтобы устанавливать разрешение для корневого каталога системы.Даже я был сбит с толку, но потом понял, что упомянутый каталог относится к файловой системе hadoop, а не к системе.

Answer 4

Вы также можете создать нового пользователя с именем "hdfs". Довольно простое решение, но, возможно, не такое чистое.

Конечно, это когда вы используете Hue с Cloudera Hadoop Manager (CDH3)