Macos Hadoop 3.1.1 - Не удалось запустить наменоде.java.io.IOException: Не удалось проанализировать строку: «Используемая доступная емкость файловой системы 1024 блоков»

Question

Я устанавливаю hadoop 3.1.1 homebrew на Mac OS.

core-site.xml config следующим образом:

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:///Users/yishuihanxiao/Personal_Home/ws/DB_Data/hadoop/hdfs/tmp</value>
        <description>A base for other temporary directories.</description>
    </property>
  <property>
    <name>fs.default.name</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

hdfs-site.xml следующим образом:

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
  <property>
    <name>fs.default.name</name>
    <value>hdfs://localhost:9000</value>
  </property>
  <property>  
      <name>dfs.namenode.name.dir</name>  
      <value>file:///Users/yishuihanxiao/Personal_Home/ws/DB_Data/hadoop/hdfs/names</value>  
  </property>
  <property>
    <name>fs.checkpoint.dir</name>
    <value>file:///Users/yishuihanxiao/Personal_Home/ws/DB_Data/hadoop/hdfs/checkpoint</value>
  </property>
  <property>
    <name>fs.checkpoint.edits.dir</name>
    <value>file:///Users/yishuihanxiao/Personal_Home/ws/DB_Data/hadoop/hdfs/checkpoint</value>
  </property>
  <property>  
      <name>dfs.datanode.data.dir</name>  
      <value>file:///Users/yishuihanxiao/Personal_Home/ws/DB_Data/hadoop/hdfs/data</value>  
  </property>
</configuration>

когда я запускаю PDF, имя узла не может начаться.из журнала я вижу следующее исключение:

2018-09-26 09:49:47,576 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: NameNode metrics system shutdown complete.
2018-09-26 09:49:47,583 ERROR org.apache.hadoop.hdfs.server.namenode.NameNode: Failed to start namenode.
java.io.IOException: Could not parse line: Filesystem   1024-blocks     Used Available Capacity  Mounted on
    at org.apache.hadoop.fs.DF.parseOutput(DF.java:195)
    at org.apache.hadoop.fs.DF.getFilesystem(DF.java:76)
    at org.apache.hadoop.hdfs.server.namenode.NameNodeResourceChecker$CheckedVolume.<init>(NameNodeResourceChecker.java:69)
    at org.apache.hadoop.hdfs.server.namenode.NameNodeResourceChecker.addDirToCheck(NameNodeResourceChecker.java:165)
    at org.apache.hadoop.hdfs.server.namenode.NameNodeResourceChecker.<init>(NameNodeResourceChecker.java:134)
    at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.startCommonServices(FSNamesystem.java:1155)
    at org.apache.hadoop.hdfs.server.namenode.NameNode.startCommonServices(NameNode.java:788)
    at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:714)
    at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:937)
    at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:910)
    at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1643)
    at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1710)

Я ищу в журнале и не могу найти никакой полезной информации.

Answer 1

Запуск 3.1.1 также из Homebrew ... (Я также использую Java 10, но я бы предложил установить JAVA_HOME в hadoop-env.sh для Java 8 в противном случае)

Если I

1. Из вопроса замените /Users/yishuihanxiao/Personal_Home/ws/DB_Data на /tmp, чтобы мои файлы находились под /tmp/hadoop/hdfs

2. Снова, из вопроса удалитеfs.default.name из hdfs-site.xml потому что там не должно быть свойства

3. Отдельно запустите hdfs namenode -format, затем начните с hdfs namenode, затем начнется наменоде.Я могу получить доступ к интерфейсу NameNode, но данных нет.

4. Открыть отдельное окно терминала для работы hdfs datanode.

Затем все начинается нормально и присоединяется к процессу namenode без ошибок (отображается в журналах и пользовательском интерфейсе), и я могу перейти к веб-интерфейсу пользователя для namenode и datanode, а также выполнять другие задачи Hadoopнапример, запуск YARN