Resource Manager не запускается в Hadoop Yarn - PullRequest
0 голосов
/ 01 января 2019

Я создаю кластер hadoop с одним главным и двумя подчиненными узлами, и когда я запускаю его, он запускается успешно, но когда я запускаю jps, я не могу запустить менеджер ресурсов.

Я получаю сообщение об ошибке при входе в файл браузера из браузера.

Не удалось получить данные из / webhdfs / v1 /? Op = LISTSTATUS: Ошибка сервера

Вот мой core-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://master:9000</value>
</property>
</configuration>

hdfs-site.xml на главном узле

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/home/edureka/hadoop-2.7.3/namenode</value>
</property>

hdfs-site.xml на подчиненных узлах

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/home/edureka/hadoop-2.7.3/datanode</value>
</property>
</configuration>

yarn-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>

Maprred-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

После этих настроек, когда я запускаю hadoop из /home/hadoop/hadoop/sbin/start-all.sh, он успешно запущен.Мой вывод после этой команды

WARNING: Attempting to start all Apache Hadoop daemons as hadoop in 10 seconds.
WARNING: This is not a recommended production deployment configuration.
WARNING: Use CTRL-C to abort.
Starting namenodes on [master]
Starting datanodes
Starting secondary namenodes [slave1]
2019-01-01 09:08:00,631 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Starting resourcemanager
Starting nodemanagers

Но когда я запускаю jps, я получаю это на mater-узле.

9974 NameNode
10297 SecondaryNameNode
10652 Jps

, где отсутствует статус recourcemanager.И когда я открываю файловую систему из браузера, я получаю эту ошибку.

Не удалось получить данные из / webhdfs / v1 /? Op = LISTSTATUS: Ошибка сервера

ЯНовое в больших данных и Hadoop.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...