Hadoop 3.2.0 не работает в кластере (VirtualBox) - PullRequest
Новая
       5

Hadoop 3.2.0 не работает в кластере (VirtualBox)

0 голосов
/ 09 марта 2019

Я пытаюсь настроить для тестирования кластер VB Hadoop с 1 namenode и 2 datanodes.Я следовал нескольким учебникам, но когда я запустил в namenode файл start-dfs.sh, он запустил только процессы namenode, а не датододы.

Я могу запустить каждый из них по отдельности, но кажется, что они не работают в кластере.

В основном я настроил 1 сервер (debian 9), настроил статический IP для каждой виртуальной машины 

hadoop@namenode:~$ cat /etc/hosts
127.0.0.1   localhost namenode
192.168.10.100 namenode.com
192.168.10.161 datanode1.com
192.168.10.162 datanode2.com

hadoop@namenode:~$ cat hadoop/etc/hadoop/slaves
datanode1.com
datanode2.com

hadoop@namenode:~$ cat hadoop/etc/hadoop/core-site.xml
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
        <property>
            <name>fs.defaultFS</name>
            <value>hdfs://namenode.com:9000</value>
        </property>
</configuration>

hadoop@namenode:~$ cat hadoop/etc/hadoop/slaves
datanode1.com
datanode2.com

hadoop@namenode:~$ cat hadoop/etc/hadoop/hdfs-site.xml
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <property>
            <name>dfs.namenode.name.dir</name>
            <value>/home/hadoop/data/nameNode</value>
    </property>
    <property>
            <name>dfs.datanode.data.dir</name>
            <value>/home/hadoop/data/dataNode</value>
    </property>
    <property>
            <name>dfs.replication</name>
            <value>1</value>
    </property>
</configuration>

скопировал все конфиги на всех виртуальных машинах, ввел в namenode и отформатировал с помощью hdfs namenode -format

Если я проверю, что clusterId соответствует ввсе серверы 

hadoop@namenode:~$ cat data/dataNode/current/VERSION
#Sat Mar 09 07:58:36 EST 2019
storageID=DS-cc3b3c25-46c8-467c-8a7b-2311f82e9790
clusterID=CID-b0b63b58-73bd-4e6b-85cd-31c353052db6
cTime=0
datanodeUuid=d9a14382-7694-476c-864b-9164de01a92e
storageType=DATA_NODE
layoutVersion=-57
hadoop@namenode:~$ cat data/nameNode/current/VERSION
#Sat Mar 09 07:55:26 EST 2019
namespaceID=1109263708
clusterID=CID-b0b63b58-73bd-4e6b-85cd-31c353052db6
cTime=1551735568343
storageType=NAME_NODE
blockpoolID=BP-1318860827-127.0.0.1-1551735568343
layoutVersion=-65

Я не вижу в журналах ничего слишком странного, чем 

hadoop@namenode:~$ cat hadoop/logs/* | grep ERROR
2019-03-04 17:40:24,433 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: RECEIVED SIGNAL 15: SIGTERM
2019-03-04 17:40:24,441 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: RECEIVED SIGNAL 1: SIGHUP
2019-03-09 07:57:10,818 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: RECEIVED SIGNAL 15: SIGTERM
2019-03-04 17:40:24,397 ERROR org.apache.hadoop.hdfs.server.namenode.NameNode: RECEIVED SIGNAL 15: SIGTERM
2019-03-04 17:40:24,417 ERROR org.apache.hadoop.hdfs.server.namenode.NameNode: RECEIVED SIGNAL 1: SIGHUP
2019-03-09 07:57:09,420 ERROR org.apache.hadoop.hdfs.server.namenode.NameNode: RECEIVED SIGNAL 15: SIGTERM
2019-03-04 17:29:25,258 ERROR org.apache.hadoop.yarn.server.nodemanager.NodeManager: RECEIVED SIGNAL 15: SIGTERM
2019-03-04 17:40:24,434 ERROR org.apache.hadoop.yarn.server.nodemanager.NodeManager: RECEIVED SIGNAL 15: SIGTERM
2019-03-04 17:40:24,441 ERROR org.apache.hadoop.yarn.server.nodemanager.NodeManager: RECEIVED SIGNAL 1: SIGHUP
2019-03-04 17:40:24,420 ERROR org.apache.hadoop.yarn.server.resourcemanager.ResourceManager: RECEIVED SIGNAL 15: SIGTERM
2019-03-04 17:40:24,430 ERROR org.apache.hadoop.yarn.server.resourcemanager.ResourceManager: RECEIVED SIGNAL 1: SIGHUP
2019-03-04 17:40:24,593 ERROR org.apache.hadoop.security.token.delegation.AbstractDelegationTokenSecretManager: ExpiredTokenRemover received java.lang.InterruptedException: sleep interrupted
2019-03-04 17:40:24,791 ERROR org.apache.hadoop.yarn.event.EventDispatcher: Returning, interrupted : java.lang.InterruptedException
2019-03-04 17:40:24,797 ERROR org.apache.hadoop.security.token.delegation.AbstractDelegationTokenSecretManager: ExpiredTokenRemover received java.lang.InterruptedException: sleep interrupted
2019-03-04 17:40:24,406 ERROR org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode: RECEIVED SIGNAL 15: SIGTERM
cat: hadoop/logs/userlogs: Is a directory
2019-03-04 17:40:24,418 ERROR org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode: RECEIVED SIGNAL 1: SIGHUP
2019-03-09 07:57:14,149 ERROR org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode: RECEIVED SIGNAL 15: SIGTERM

Я уже пытался удалить папки с данными и переформатировать, но все еще не работает

любая идея?

1 Ответ

0 голосов
/ 11 марта 2019

после нескольких дней работы над этим я понимаю, что проблема заключалась в следующем: - следуя инструкции, убедитесь, что у core-site xml есть свойство fs.defaultFS, а не fs.default.name - во-вторых, я всегда добавлял датоды в /etc/hadoop/slaves но мне не хватает /etc/hadoop/workers файла

после добавления туда я переформатирую и снова запускаю кластер и он работает

...