Завершение работы узла данных Hadoop с сообщением «libhadoop не может быть загружен» - PullRequest
Новая
       17

Завершение работы узла данных Hadoop с сообщением «libhadoop не может быть загружен»

0 голосов
/ 22 ноября 2018

Я пытаюсь запустить datanode на новых рабах, чтобы добавить их в живой кластер hadoop.Но не удалось запустить datanode с помощью команды hadoop-daemon.sh start datanode

Я создал файл / var / lib / hadoop-hdfs / dn_socket вручную и также изменилего разрешения.Я также проверил библиотеки, которые все есть.

Проверял другие вопросы, связанные с закрытием datanode, но не смог решить проблему.Кроме того, журналы ошибок, которые я получаю, отличаются следующим:

Любая помощь приветствуется. 

2018-11-22 13:31:03,485 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Starting DataNode with maxLockedMemory = 0
2018-11-22 13:31:03,512 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Opened streaming server at /0.0.0.0:50010
2018-11-22 13:31:03,515 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Balancing bandwidth is 10485760 bytes/s
2018-11-22 13:31:03,515 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Number threads for balancing is 50
2018-11-22 13:31:03,516 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: Exception in secureMain
java.lang.RuntimeException: Although a UNIX domain socket path is configured as /var/lib/hadoop-hdfs/dn_socket, we cannot start a loca
lDataXceiverServer because libhadoop cannot be loaded.
        at org.apache.hadoop.hdfs.server.datanode.DataNode.getDomainPeerServer(DataNode.java:1166)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.initDataXceiver(DataNode.java:1137)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.startDataNode(DataNode.java:1369)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.<init>(DataNode.java:495)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.makeInstance(DataNode.java:2695)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.instantiateDataNode(DataNode.java:2598)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.createDataNode(DataNode.java:2645)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.secureMain(DataNode.java:2789)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.main(DataNode.java:2813)
2018-11-22 13:31:03,519 INFO org.apache.hadoop.util.ExitUtil: Exiting with status 1: java.lang.RuntimeException: Although a UNIX domai
n socket path is configured as /var/lib/hadoop-hdfs/dn_socket, we cannot start a localDataXceiverServer because libhadoop cannot be lo
aded.
2018-11-22 13:31:03,521 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down DataNode at HDP-slave-7/987.654.32.10
...