hadoop NullPointerException - PullRequest
Новая
       12

hadoop NullPointerException

2 голосов
/ 30 марта 2011

Я пытался настроить многоузловой кластер hadoop путь Майкла-Нолла , используя два компьютера.

Когда я пытался отформатировать hdf, он показал NullPointerException.

hadoop@psycho-O:~/project/hadoop-0.20.2$ bin/start-dfs.sh
starting namenode, logging to /home/hadoop/project/hadoop-0.20.2/bin/../logs/hadoop-hadoop-namenode-psycho-O.out
slave: bash: line 0: cd: /home/hadoop/project/hadoop-0.20.2/bin/..: No such file or directory
slave: bash: /home/hadoop/project/hadoop-0.20.2/bin/hadoop-daemon.sh: No such file or directory
master: starting datanode, logging to /home/hadoop/project/hadoop-0.20.2/bin/../logs/hadoop-hadoop-datanode-psycho-O.out
master: starting secondarynamenode, logging to /home/hadoop/project/hadoop-0.20.2/bin/../logs/hadoop-hadoop-secondarynamenode-psycho-O.out
master: Exception in thread "main" java.lang.NullPointerException
master:     at org.apache.hadoop.net.NetUtils.createSocketAddr(NetUtils.java:134)
master:     at org.apache.hadoop.hdfs.server.namenode.NameNode.getAddress(NameNode.java:156)
master:     at org.apache.hadoop.hdfs.server.namenode.NameNode.getAddress(NameNode.java:160)
master:     at org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode.initialize(SecondaryNameNode.java:131)
master:     at org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode.<init>(SecondaryNameNode.java:115)
master:     at org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode.main(SecondaryNameNode.java:469)
hadoop@psycho-O:~/project/hadoop-0.20.2$

Я не знаю, что вызывает это.Пожалуйста, помогите мне разобраться в проблеме.Я не новичок в этой теме, поэтому, пожалуйста, сделайте свой ответ менее точным, насколько это возможно.:)

Если вам нужна дополнительная информация, пожалуйста, сообщите мне.

Ответы [ 5 ]

1 голос
/ 09 декабря 2015

Похоже, вы вообще не установили hadoop в вашей датоде (ведомой) (или) вы сделали это по неправильному пути. Правильный путь в вашем случае должен быть /home/hadoop/project/hadoop-0.20.2/

1 голос
/ 17 апреля 2014

Видимо, значения по умолчанию не верны, поэтому вы должны добавить их самостоятельно, как описано в этом посте

Это сработало для меня.

1 голос
/ 30 марта 2012 
master:     at org.apache.hadoop.net.NetUtils.createSocketAddr(NetUtils.java:134)
master:     at org.apache.hadoop.hdfs.server.namenode.NameNode.getAddress(NameNode.java:156)
master:     at org.apache.hadoop.hdfs.server.namenode.NameNode.getAddress(NameNode.java:160)

Похоже, что ваш вторичный наменод имеет проблемы с подключением к первичному наменоде, что, безусловно, необходимо для того, чтобы вся система раскачивала дорогу, потому что есть контрольные точки, которые нужно сделать.Итак, я думаю, что-то не так с вашей сетевой конфигурацией, включая:

  • $ {HADOOP_HOME} /conf/core-site.xml, который содержит что-то вроде этого: 

    <!-- Put site-specific property overrides in this file. -->
<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/app/hadoop/tmp</value>
        <description>A base for other temporary directories.</description>
    </property>

    <property>
        <name>fs.default.name</name>
        <value>hdfs://master:54310</value>
        <description>The name of the default file system.  A URI whose
        scheme and authority determine the FileSystem implementation.  The
        uri's scheme determines the config property (fs.SCHEME.impl) naming
        the FileSystem implementation class.  The uri's authority is used to
        determine the host, port, etc. for a filesystem.</description>
    </property>
</configuration>

  • и / etc / hosts.Этот файл действительно скользкий, вы должны быть осторожны с этим псевдонимом ip, который должен соответствовать имени хоста машины с этим ip. 

        127.0.0.1   localhost
    127.0.1.1   zac

    # The following lines are desirable for IPv6 capable hosts
    ::1     ip6-localhost ip6-loopback
    fe00::0 ip6-localnet
    ff00::0 ip6-mcastprefix
    ff02::1 ip6-allnodes
    ff02::2 ip6-allrouters

    192.168.1.153 master     #pay attention to these two!!!
    192.168.99.146 slave1
0 голосов
/ 16 марта 2012

Возможно, вы указали неправильный каталог пользователя или что-то в этом роде, похоже, он ищет неправильные каталоги, чтобы найти ваши файлы.

0 голосов
/ 30 марта 2011

Ваши bash-скрипты, похоже, не имеют прав на выполнение или даже не существуют:

slave: bash: строка 0: cd: /home/hadoop/project/hadoop-0.20.2/ bin / ..: Нет такого файла или каталога
slave: bash: /home/hadoop/project/hadoop-0.20.2/bin/hadoop-daemon.sh: Нет такого файла или каталога

...