oop 3.2.1: сбой инициализации Namenode HA HDFS - PullRequest
Новая
       122

oop 3.2.1: сбой инициализации Namenode HA HDFS

0 голосов
/ 14 марта 2020

Zookeeper 3.6.0 работает на кластере с частотой sh 5 с настройкой Had oop 3.2.1 в соответствии с документацией.

Узлы журнала запускаются путем выполнения hdfs --daemon start journalnode на каждом сервере .

Однако, когда при выполнении hdfs namenode -format на одном из серверов появляется следующая ошибка: 

2020-03-14 22:13:19,363 INFO namenode.NameNode: STARTUP_MSG:
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG:   host = hal-110/192.168.1.110
STARTUP_MSG:   args = [-format]
STARTUP_MSG:   version = 3.2.1
STARTUP_MSG:   classpath = ...
STARTUP_MSG:   java = 1.8.0_242
************************************************************/
2020-03-14 22:13:19,368 INFO namenode.NameNode: registered UNIX signal handlers for [TERM, HUP, INT]
2020-03-14 22:13:19,417 INFO namenode.NameNode: createNameNode [-format]
Formatting using clusterid: CID-3b16d42b-34f8-4618-963a-b263edb6ef04
2020-03-14 22:13:19,656 INFO namenode.FSEditLog: Edit logging is async:true
2020-03-14 22:13:19,665 INFO namenode.FSNamesystem: KeyProvider: null
2020-03-14 22:13:19,666 INFO namenode.FSNamesystem: fsLock is fair: true
2020-03-14 22:13:19,666 INFO namenode.FSNamesystem: Detailed lock hold time metrics enabled: false
2020-03-14 22:13:19,669 INFO namenode.FSNamesystem: fsOwner             = hadoop (auth:SIMPLE)
2020-03-14 22:13:19,669 INFO namenode.FSNamesystem: supergroup          = supergroup
2020-03-14 22:13:19,669 INFO namenode.FSNamesystem: isPermissionEnabled = false
2020-03-14 22:13:19,669 INFO namenode.FSNamesystem: Determined nameservice ID: halcluster
2020-03-14 22:13:19,669 INFO namenode.FSNamesystem: HA Enabled: false
2020-03-14 22:13:19,669 WARN namenode.FSNamesystem: Configured NNs:

2020-03-14 22:13:19,670 ERROR namenode.FSNamesystem: FSNamesystem initialization failed.
java.io.IOException: Invalid configuration: a shared edits dir must not be specified if HA is not enabled.

core-site. xml ( имена, значения) 

<name>fs.defaultFS</name>
<value>hdfs://halcluster</value>

<name>io.file.buffer.size</name>
<value>131072</value>

<name>hadoop.tmp.dir</name>
<value>file:///data/hadoop/tmp</value>

<name>ha.zookeeper.quorum</name>
<value>zk1:2181,zk2:2181,zk3:2181,zk4:2181,zk5:2181</value>

hdfs-site. xml 

<name>dfs.namenode.name.dir</name>
<value>file:///data/hadoop/namenode</value>

<name>dfs.nameservices</name>
<value>halcluster</value>

<name>dfs.ha.namenodes.halcluster</name>
<value>nn1, nn2, nn3</value>

<name>dfs.namenode.rpc-address.mycluster.nn1</name>
<value>hal-110:8020</value>

<name>dfs.namenode.rpc-address.mycluster.nn2</name>
<value>hal-112:8020</value>

<name>dfs.namenode.rpc-address.mycluster.nn1</name>
<value>hal-114:8020</value>

<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://hal-110:8485;hal-112:8485;hal-114:8485/halcluster</value>

<name>dfs.client.failover.proxy.provider.halcluster</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>

<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>

<name>dfs.ha.fencing.methods</name>
<value>sshfence</value>

<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/home/hadoop/.ssh/id_rsa</value>

<name>dfs.journalnode.edits.dir</name>
<value>/data/hadoop/journalnode</value>

Поиск этой ошибки и просмотр журналов, но не может найти ничего очевидного ,

Не уверен, как go продвинуться с этим и был бы признателен за любую помощь.

Заранее спасибо

...