DataNode не запускается в Hadoop - PullRequest
Новая
       7

DataNode не запускается в Hadoop

2 голосов
/ 23 декабря 2011

Я пытаюсь установить Hadoop на Ubuntu 11.04 и Java 6 sun.Я работал с hadoop 0.20.203 rc1 build.Я неоднократно сталкиваюсь с проблемой на Ubuntu 11.04 с java-6-sun.Когда я пытаюсь запустить hadoop, datanode не запускается из-за «Не удается получить доступ к хранилищу». 

2011-12-22 22:09:20,874 INFO org.apache.hadoop.hdfs.server.common.Storage: Cannot lock storage /home/hadoop/work/dfs_blk/hadoop. The directory is already locked.
2011-12-22 22:09:20,896 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Cannot lock storage /home/hadoop/work/dfs_blk/hadoop. The directory is already locked.
        at org.apache.hadoop.hdfs.server.common.Storage$StorageDirectory.lock(Storage.java:602)
        at org.apache.hadoop.hdfs.server.common.Storage$StorageDirectory.analyzeStorage(Storage.java:455)
        at org.apache.hadoop.hdfs.server.datanode.DataStorage.recoverTransitionRead(DataStorage.java:111)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.startDataNode(DataNode.java:354)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.<init>(DataNode.java:268)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.makeInstance(DataNode.java:1480)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.instantiateDataNode(DataNode.java:1419)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.createDataNode(DataNode.java:1437)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.secureMain(DataNode.java:1563)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.main(DataNode.java:1573)

Я пытался обновить и понизить до нескольких версий в ветке 0.20 от Apache, даже cloudera,также удаление и установка hadoop снова.Но все же я сталкиваюсь с этой проблемой.Типичные обходные пути, такие как удаление файлов * .pid в каталоге / tmp, также не работают.Кто-нибудь может указать мне решение для этого?

1 Ответ

4 голосов
/ 26 декабря 2011

Да, я отформатировал namenode, проблема была в мошеннических шаблонах для hdfs-site.xml, которые я скопировал, вставил, dfs.data.dir и dfs.name.dir указали на то же местоположение каталога, что привело к ошибке Locked Storage.Они должны быть разными каталогами.К сожалению, документация hadoop недостаточно ясна в этих тонких деталях.

...