Hadoop2: Datanode не работает - PullRequest
Новая
       17

Hadoop2: Datanode не работает

0 голосов
/ 24 октября 2018

Я впервые устанавливаю Hadoop v2.2.0 (на Ubuntu 18.04).

Я запускаю все службы, но jsp дает мне только: 

22546 SecondaryNameNode
23715 Jps
22373 NameNode
22616 ResourceManager
23001 JobHistoryServer
22858 NodeManager

Namenode isработает нормально на http://localhost:50070/

Что я делаю не так?Я считаю, что все YAML настроены правильно.

Это журнал: 

2018-10-24 16:53:43,646 INFO org.apache.hadoop.hdfs.server.common.Storage: Lock on /usr/local/hadoop/data/in_use.lock acquired by nodename 22435@hadoop
2018-10-24 16:53:43,666 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for block pool Block pool BP-1197300478-10.0.2.15-1540244662682 (storage id DS-1753512277-10.0.2.15-50010-1540242422082) service to localhost/127.0.0.1:9000
java.io.IOException: Incompatible clusterIDs in /usr/local/hadoop/data: namenode clusterID = CID-84428c40-2f4c-4633-90c4-ca1fd280d70a; datanode clusterID = CID-c37b31e6-ac26-4896-97f7-35cc54d1d551
    at org.apache.hadoop.hdfs.server.datanode.DataStorage.doTransition(DataStorage.java:391)
    at org.apache.hadoop.hdfs.server.datanode.DataStorage.recoverTransitionRead(DataStorage.java:191)
    at org.apache.hadoop.hdfs.server.datanode.DataStorage.recoverTransitionRead(DataStorage.java:219)
    at org.apache.hadoop.hdfs.server.datanode.DataNode.initStorage(DataNode.java:837)
    at org.apache.hadoop.hdfs.server.datanode.DataNode.initBlockPool(DataNode.java:808)
    at org.apache.hadoop.hdfs.server.datanode.BPOfferService.verifyAndSetNamespaceInfo(BPOfferService.java:280)
    at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.connectToNNAndHandshake(BPServiceActor.java:222)
    at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.run(BPServiceActor.java:664)
    at java.base/java.lang.Thread.run(Thread.java:844)
2018-10-24 16:53:43,682 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Ending block pool service for: Block pool BP-1197300478-10.0.2.15-1540244662682 (storage id DS-1753512277-10.0.2.15-50010-1540242422082) service to localhost/127.0.0.1:9000
2018-10-24 16:53:43,803 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Removed Block pool BP-1197300478-10.0.2.15-1540244662682 (storage id DS-1753512277-10.0.2.15-50010-1540242422082)
2018-10-24 16:53:45,803 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Exiting Datanode
2018-10-24 16:53:45,805 INFO org.apache.hadoop.util.ExitUtil: Exiting with status 0
2018-10-24 16:53:45,814 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: SHUTDOWN_MSG: 
/************************************************************
SHUTDOWN_MSG: Shutting down DataNode at hadoop/10.0.2.15
************************************************************/
...