Я создаю кластер hadoop с одним главным и двумя подчиненными узлами, и когда я запускаю его, он запускается успешно, но когда я запускаю jps, я не могу запустить менеджер ресурсов.
Я получаю сообщение об ошибке при входе в файл браузера из браузера.
Не удалось получить данные из / webhdfs / v1 /? Op = LISTSTATUS: Ошибка сервера
Вот мой core-site.xml
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://master:9000</value>
</property>
</configuration>
hdfs-site.xml на главном узле
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/home/edureka/hadoop-2.7.3/namenode</value>
</property>
hdfs-site.xml на подчиненных узлах
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/home/edureka/hadoop-2.7.3/datanode</value>
</property>
</configuration>
yarn-site.xml
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>
Maprred-site.xml
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
После этих настроек, когда я запускаю hadoop из /home/hadoop/hadoop/sbin/start-all.sh
, он успешно запущен.Мой вывод после этой команды
WARNING: Attempting to start all Apache Hadoop daemons as hadoop in 10 seconds.
WARNING: This is not a recommended production deployment configuration.
WARNING: Use CTRL-C to abort.
Starting namenodes on [master]
Starting datanodes
Starting secondary namenodes [slave1]
2019-01-01 09:08:00,631 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Starting resourcemanager
Starting nodemanagers
Но когда я запускаю jps, я получаю это на mater-узле.
9974 NameNode
10297 SecondaryNameNode
10652 Jps
, где отсутствует статус recourcemanager.И когда я открываю файловую систему из браузера, я получаю эту ошибку.
Не удалось получить данные из / webhdfs / v1 /? Op = LISTSTATUS: Ошибка сервера
ЯНовое в больших данных и Hadoop.