YARN Не удалось найти или загрузить основной класс org.apache.hadoop.mapreduce.v2.app.MRAppMaster - PullRequest
0 голосов
/ 27 августа 2018

Мой запрос: я установил улей на убанту.Я тестировал его до того, как работал файл, но позже он начал выдавать ошибку.

вставить в значения test2 (1, «Махендра»);

Ошибка моего улья:

Идентификатор запроса = mahendra_20180827145546_86973630-5eff-4764-ade8-cfc3a8ce5c37
Всего заданий = 3
Запуск задания 1 из 3
Количество задач уменьшения, определенных во время компиляции: 1
Чтобы изменить среднюю нагрузку для редуктора (в байтах):
set hive.exec.reducers.bytes.per.reducer =
Чтобы ограничить максимальное количество редукторов: установите hive.exec.reducers.max = Чтобы установить постоянное количество редукторов: установите mapreduce.job.reduces = Запуск задания = job_1535360274908_0006, URL-адрес отслеживания = http://mahendra-система: 8088 / proxy / application_1535360274908_0006 / Команда Kill = /home/mahendra/HDEcho/hadoop-3.0.3/bin/mapred job -kill job_1535360274908_0006
Информация о задании Hadoop для Stage-1: количество картографов:0;число редукторов: 0
2018-08-27 14: 55: 51,645 Карта этапа-1 = 0%, уменьшение = 0% Завершено задание = job_1535360274908_0006 с ошибками Ошибка во время задания, получение отладочной информации ...
FAILED: Ошибка выполнения, код возврата 2 из org.apache.hadoop.hive.ql.exec.mr.MapRedTask MapReduce Задания запущены:
Этап-Этап-1: Чтение HDFS: 0 Запись HDFS: 0 FAIL Общее потерянное время ЦП MapReduce: 0 мсек

Моя ошибка пряжи:

Ошибка: не удалось найти или загрузить основной класс org.apache.hadoop.mapreduce.v2.app.MRAppMaster

Мои Дигностики:

 Error: Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMaster
Please check whether your etc/hadoop/mapred-site.xml contains the below configuration:
<property>
<name>yarn.app.mapreduce.am.env</name>
<value>HADOOP_MAPRED_HOME=${full path of your hadoop distribution directory}</value>
</property>
<property>
<name>mapreduce.map.env</name>
<value>HADOOP_MAPRED_HOME=${full path of your hadoop distribution directory}</value>
</property>
<property>
<name>mapreduce.reduce.env</name>
<value>HADOOP_MAPRED_HOME=${full path of your hadoop distribution directory}</value>
</property> 

My MapRed-site.xml:

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.application.classpath</name>
        <value>/home/mahendra/HDEcho/hadoop-3.0.3/share/hadoop/mapreduce/*:/home/mahendra/HDEcho/hadoop-3.0.3/share/hadoop/mapreduce/lib/*</value>
    </property>
<property>
<name>yarn.app.mapreduce.am.env</name>
<value>HADOOP_MAPRED_HOME=/home/mahendra/HDEcho/hadoop-3.0.3</value>
</property>
<property>
<name>mapreduce.map.env</name>
<value>HADOOP_MAPRED_HOME=/home/mahendra/HDEcho/hadoop-3.0.3</value>
</property>
<property>
<name>mapreduce.reduce.env</name>
<value>HADOOP_MAPRED_HOME=/home/mahendra/HDEcho/hadoop-3.0.3</value>
</property>
</configuration>

1 Ответ

0 голосов
/ 27 августа 2018
export YARN_HOME=$HADOOP_HOME      

У меня в bashrc работал

...