Как устранить ошибку в журнале данных узла во время настройки Hadoop? - PullRequest
Новая
       117

Как устранить ошибку в журнале данных узла во время настройки Hadoop?

1 голос
/ 27 сентября 2019

Я установил Hadoop в моей системе Windows.Работают только службы namenode и resource manager.Остальные сервисы, такие как демоны DataNode, SecondaryNameNode и NodeManager, не видны при использовании jps cmd.Следующая ошибка выдает в журнал DataNode:

Ошибка: 

2019-09-27 11:38:04,881 ERROR datanode.DataNode: Exception in secureMain
org.apache.hadoop.util.DiskChecker$DiskErrorException: Too many failed volumes - current valid volumes: 0, volumes configured: 1, volumes failed: 1, volume failures tolerated: 0
        at org.apache.hadoop.hdfs.server.datanode.checker.StorageLocationChecker.check(StorageLocationChecker.java:231)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.makeInstance(DataNode.java:2776)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.instantiateDataNode(DataNode.java:2691)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.createDataNode(DataNode.java:2733)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.secureMain(DataNode.java:2877)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.main(DataNode.java:2901)
2019-09-27 11:38:04,881 INFO util.ExitUtil: Exiting with status 1: org.apache.hadoop.util.DiskChecker$DiskErrorException: Too many failed volumes - current valid volumes: 0, volumes configured: 1, volumes failed: 1, volume failures tolerated: 0
2019-09-27 11:38:04,881 INFO datanode.DataNode: SHUTDOWN_MSG:

Может кто-нибудь дать мне решение для этого?

1 Ответ

0 голосов
/ 28 сентября 2019

Это из-за сбоя в смонтированном диске в DN.

Сначала вы можете проверить состояние смонтированного диска в узле данных.(Любой нездоровый, RO или поврежденный диск)

CMD: cat / etc / fstab или mount

Если проблема связана с несколькими дисками (зависит от dfs.datanode.failed.volumes.tolerated значение) узел данных выходит из строя.

Здесь, в соответствии с приведенным выше журналом:

настроенных томов: 1, сбой томов: 1

Итак, нет активного диска в DN.Его отключение.

ПРИМЕЧАНИЕ :

мы можем управлять монтажным диском в DN через dfs.datanode.failed.volumes.tolerated в hdfs-default.xml

Определяет число томов, которым разрешается выходить из строя до того, как узел данных перестает предлагать услугу.любой сбой громкости приведет к отключению датодода.По умолчанию его ноль

...