Hadoop 3.1.2: вывод jps отображает только jps после выполнения start-all.sh - PullRequest
Новая
       15

Hadoop 3.1.2: вывод jps отображает только jps после выполнения start-all.sh

0 голосов
/ 06 мая 2019

Я новичок в Hadoop и установил hadoop 3.1.2 на Ubuntu 16.04 в автономном режиме.Когда я пытаюсь запустить демоны с помощью start-all.sh, команда говорит, что запускает разные демоны.Однако, когда я проверяю с помощью jps, нет ничего, кроме jps 

(sparkVenv) applied@nadeem-Inspiron-5558:~$ start-all.sh
WARNING: Attempting to start all Apache Hadoop daemons as applied in 10 seconds.
WARNING: This is not a recommended production deployment configuration.
WARNING: Use CTRL-C to abort.
Starting namenodes on [nadeem-Inspiron-5558]
Starting datanodes
Starting secondary namenodes [nadeem-Inspiron-5558]
Starting resourcemanager
Starting nodemanagers
(sparkVenv) applied@nadeem-Inspiron-5558:~$ jps
21729 Jps
(sparkVenv) applied@nadeem-Inspiron-5558:~$

Вот часть журнала namenode

************************************************************ /
2019-05-06 15: 36: 43,116 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: зарегистрированные обработчики сигналов UNIX для [TERM, HUP, INT]
2019-05-06 15:36:43,252 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: createNameNode []
2019-05-06 15: 36: 43,515 INFO org.apache.hadoop.metrics2.impl.MetricsConfig: загруженные свойства из hadoop-metrics2.properties
2019-05-06 15: 36: 43 635 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: запланированный моментальный снимок метрики с 10 секундами.
2019-05-06 15:36: 43,636 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: Система метрик NameNode запущена
2019-05-06 15: 36: 43,671 INFO org.apache.hadoop.hdfs.server.namenode.NameNodeUtils: fs.defaultFS - это файл: ///
2019-05-06 15: 36: 43 816 ОШИБКА org.apache.hadoop.hdfs.server.namenode.NameNode: Не удалось запустить namenode.
java.lang.IllegalArgumentException: Неверный URI для адреса NameNode (проверьте fs.defaultFS): file: /// не имеет полномочий.
в org.apache.hadoop.hdfs.DFSUtilClient.getNNAddress (DFSUtilClient.java:697)
в org.apache.hadoop.hdfs.DFSUtilClient.getNNAddressCheckLogical (DFSUtilClient.java:726)
в org.apache.ddLidUntDhintHD.java: 688)
в org.apache.hadoop.hdfs.server.namenode.NameNode.getRpcServerAddress (NameNode.java:529)
в org.apache.hadoop.hdfs.server.namenode.NameNode.loginAsNameNodeU(NameNode.java:660)
в org.apache.hadoop.hdfs.server.namenode.NameNode.initialize (NameNode.java:680)
в org.apache.hadoop.hdfs.server.namenode.NameNode. (NameNode.java:937)
в org.apache.hadoop.hdfs.server.namenode.NameNode. (NameNode.java:910)
в org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode (NameNode.java:1643)
в org.apache.hadoop.hdfs.server.namenode.NameNode.main (NameNode.java:1710)
2019-05-06 15: 36: 43,819 INFO org.apache.hadoop.util.ExitUtil: выход со статусом 1: java.lang.IllegalArgumentException: неверный URI дляАдрес NameNode (проверьте fs.defaultFS): file: /// не имеет полномочий.
2019-05-06 15: 36: 43,821 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: SHUTDOWN_MSG:
/ ************************************************************
SHUTDOWN_MSG: завершение работы NameNode на nadeem-Inspiron-5558 / 127.0.1.1
************************************************************ /

Ответы [ 2 ]

0 голосов
/ 07 мая 2019

Обнаружено, что core-site.xml и hdfs-site.xml пусты.
Добавлена ​​конфигурация, упомянутая в https://hadoop.apache.org/docs/r3.2.0/hadoop-project-dist/hadoop-common/SingleCluster.html в псевдораспределенном режиме и отформатированный namenode.
После этого демоны начали выполнять start-all.sh

0 голосов
/ 07 мая 2019

У вас уже есть проблема в журнале, ваш NameNode не запускается из-за проблемы в конфигурации core-site.xml "fs.defaultFS".

Надеюсь, это поможет.

...