ОШИБКА при выполнении датоде при первом запуске Hadoop в Windows 10 - PullRequest
Новая
       15

ОШИБКА при выполнении датоде при первом запуске Hadoop в Windows 10

0 голосов
/ 02 сентября 2018

Я пытаюсь запустить Hadoop 3.1.1 на моем компьютере с Windows 10. Я изменил все файлы:

  • HDFS-site.xml
  • mapred-site.xml
  • ядро-site.xml
  • пряжи site.xml

Затем я выполнил следующую команду: 

C:\hadoop-3.1.1\bin> hdfs namenode -format

Формат работает правильно, поэтому я указал C:\hadoop-3.1.1\sbin выполнить следующую команду: 

C:\hadoop-3.1.1\sbin> start-dfs.cmd

Командная строка открывает 2 новых окна: одно для датододы и другое для наменода.

Окно namenode продолжает работать: 

2018-09-02 21:37:06,232 INFO ipc.Server: IPC Server Responder: starting
2018-09-02 21:37:06,232 INFO ipc.Server: IPC Server listener on 9000: starting
2018-09-02 21:37:06,247 INFO namenode.NameNode: NameNode RPC up at: localhost/127.0.0.1:9000
2018-09-02 21:37:06,247 INFO namenode.FSNamesystem: Starting services required for active state
2018-09-02 21:37:06,247 INFO namenode.FSDirectory: Initializing quota with 4 thread(s)
2018-09-02 21:37:06,247 INFO namenode.FSDirectory: Quota initialization completed in 3 milliseconds
name space=1
storage space=0
storage types=RAM_DISK=0, SSD=0, DISK=0, ARCHIVE=0, PROVIDED=0
2018-09-02 21:37:06,279 INFO blockmanagement.CacheReplicationMonitor: Starting CacheReplicationMonitor with interval 30000 milliseconds

Пока датодан выдает следующую ошибку: 

ERROR: datanode.DataNode: Exception in secureMain
org.apache.hadoop.util.DiskChecker$DiskErrorException: Too many failed volumes - current valid volumes: 0, volumes configured: 1, volumes failed: 1, volume failures tolerated: 0
at org.apache.hadoop.hdfs.server.datanode.checker.StorageLocationChecker.check(StorageLocationChecker.java:220)
at org.apache.hadoop.hdfs.server.datanode.DataNode.makeInstance(DataNode.java:2762)
at org.apache.hadoop.hdfs.server.datanode.DataNode.instantiateDataNode(DataNode.java:2677)
at org.apache.hadoop.hdfs.server.datanode.DataNode.createDataNode(DataNode.java:2719)
at org.apache.hadoop.hdfs.server.datanode.DataNode.secureMain(DataNode.java:2863)
at org.apache.hadoop.hdfs.server.datanode.DataNode.main(DataNode.java:2887)
2018-09-02 21:37:04,250 INFO util.ExitUtil: Exiting with status 1: org.apache.hadoop.util.DiskChecker$DiskErrorException: Too many failed volumes - current valid volumes: 0, volumes configured: 1, volumes failed: 1, volume failures tolerated: 0
2018-09-02 21:37:04,250 INFO datanode.DataNode: SHUTDOWN_MSG:

И тогда датодан закрывается! Я пробовал несколько способов преодолеть эту ошибку, но я впервые устанавливаю Hadoop на Windows и не могу понять, что делать дальше!

1 Ответ

0 голосов
/ 16 мая 2019

У меня была такая же проблема, и мне помогло редактирование hdfs-site.xml следующим образом: 

 <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>file:///C:/Hadoop/hadoop-3.1.2/data/namenode</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/C:/Hadoop/hadoop-3.1.2/data/datanode</value>
  </property>
...