Возникли проблемы с настройкой Hadoop

Question

Проблема, с которой я столкнулся, заключается в том, что при запуске bin/hadoop fs -ls он распечатывает все файлы локального каталога, в котором я нахожусь, а не файлы в формате hdf (которых в настоящее время не должно быть).Вот как я все настроил:

Я скачал и распаковал все файлы 0.20.2 в /home/micah/hadoop-install/.Я отредактировал conf/hdfs-site.xml со следующими настройками и создал соответствующие каталоги:

<configuration>
  <property>
    <name>fs.default.name</name>
    <value>localhost:9000</value>
  </property>
  <property>
    <name>dfs.data.dir</name>
    <value>/home/micah/hdfs/data</value>
  </property>
  <property>
    <name>dfs.name.dir</name>
    <value>/home/micah/hdfs/name</value>
  </property>
</configuration>

Затем я запустил bin/hadoop namenode -format, а затем bin/start-dfs.sh.

Answer 1

Попробуйте это:

    #http://www.mail-archive.com/common-user@hadoop.apache.org/msg00407.html
    rm -r /tmp/hadoop****
    build $HADOOP_HOME
    echo export JAVA_HOME=$JAVA_HOME >> $HADOOP_HOME/conf/hadoop-env.sh
    echoThenRun "$HADOOP_HOME/bin/stop-all.sh"
    echoThenRun "$HADOOP_HOME/bin/hadoop namenode -format"

Answer 2

Спасибо. Выполнение следующих действий разрешило мою проблему

rm -r /tmp/hadoop****
    build $HADOOP_HOME
    echo export JAVA_HOME=$JAVA_HOME >> $HADOOP_HOME/conf/hadoop-env.sh
    echoThenRun "$HADOOP_HOME/bin/stop-all.sh"
    echoThenRun "$HADOOP_HOME/bin/hadoop namenode -format"

Answer 3

У меня была похожая проблема, и я обнаружил, что мои права доступа к каталогу данных HDFS были неправильными.

Удаление привилегий записи группы с chmod -R g-w из каталога данных устранило проблему.