Hortonworks HDFS Name Node проблема tryLock при запуске - PullRequest
0 голосов
/ 14 ноября 2018

Мы используем HDP HDFS модуль версии 2.7.3.2.6.5.0-292.

Сервер завис, и его пришлось перезагружать - теперь служба Name Node выдает ошибку при запуске.

После успешного получения файла блокировки, он мгновенно завершается неудачей, пытаясь получить его снова, даже через тот же процесс (предположительно, в том же потоке) - он завершается неудачей.

Как нам начать имя узла с данными в такте ?

18/11/14 20:19:24 INFO util.GSet: Computing capacity for map NameNodeRetryCache 18/11/14 20:19:24 INFO util.GSet: VM type = 64-bit 18/11/14 20:19:24 INFO util.GSet: 0.029999999329447746% max memory 1011.3 MB = 310.7 KB 18/11/14 20:19:25 INFO util.GSet: capacity = 2^15 = 32768 entries 18/11/14 20:19:25 INFO common.Storage: Lock on /mnt/pd1/hadoop/hdfs/namenode/in_use.lock acquired by nodename 10635@hadoop-327 18/11/14 20:19:25 ERROR common.Storage: It appears that another node 10635@hadoop-327 has already locked the storage directory: /mnt/pd1/hadoop/hdfs/namenode java.nio.channels.OverlappingFileLockException at sun.nio.ch.SharedFileLockTable.checkList(FileLockTable.java:255) at sun.nio.ch.SharedFileLockTable.add(FileLockTable.java:152) at sun.nio.ch.FileChannelImpl.tryLock(FileChannelImpl.java:1113) at java.nio.channels.FileChannel.tryLock(FileChannel.java:1155) at org.apache.hadoop.hdfs.server.common.Storage$StorageDirectory.tryLock(Storage.java:770) at org.apache.hadoop.hdfs.server.common.Storage$StorageDirectory.lock(Storage.java:738) at org.apache.hadoop.hdfs.server.common.Storage$StorageDirectory.analyzeStorage(Storage.java:551) at org.apache.hadoop.hdfs.server.common.Storage$StorageDirectory.analyzeStorage(Storage.java:502)

1 Ответ

0 голосов
/ 18 ноября 2018

Похоже, у нас было 2 пути, нацеленных на один и тот же каталог на dfs.namenode.name.dir, что вызвало двойную блокировку.Как только мы использовали один путь, все вернулось к порядку.

...