Улей застрять в запросах, в чем может быть проблема? - PullRequest
0 голосов
/ 12 апреля 2019

Я установил Hive, и он правильно выполняет основные запросы, но застревает для запросов, таких как отдельные.При переходе по ссылке для проверки проблемы она отображает

ACCEPTED: ожидание размещения, запуска контейнера AM и его регистрации в RM.

в качестве YarnApplicationStage.

Я попытался внести изменения в файл yarn-site.xml, увеличив процент мощности планировщика YARN.Но ничего не работает.Кажется, он застрял на одном шаге.Я приложил код yarn-site.xml, скриншот приложения, а также скриншот куста.Также нет нездоровых узлов и скриншот того же самого прикреплен.

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>mapreduce.nodemanager.aux-services.mapreduce_shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>127.0.0.1:8032</value>
</property>
<property>
<name>yarn.scheduler.capacity.maximum-am-resource-percent</name>
<value>1.0</value>
</property>
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>4096</value>
<description>Physical memory, in MB, to be made available to running containers</description>
</property>   
</configuration>

Изображение ошибки в следующем порядке,

Ошибка заклинивания куста

Диспетчер приложений

Подробности узлов

Журнал диспетчера узлов пряжи hive stuck error

Application manager

Nodes details

[Yarn Nodemanager Log 4 [Yarn Node Manager Log 5

Ответы [ 2 ]

0 голосов
/ 18 апреля 2019

Я решил эту ошибку.Проблема была с файлом etc / hosts.IP-адрес моей системы изменился из-за того, что куст не работал должным образом.

0 голосов
/ 12 апреля 2019

Показатели вашего кластера показывают, что у вас нет vcores, памяти и активных узлов, поэтому вы не можете выполнять какую-либо обработку, пока не добавите Node Manager в ваш кластер.

Диспетчер ресурсов является планировщиком, но диспетчеры узлов предоставляют вычислительные ресурсы.

Причина, по которой вы видите это при выполнении DISTINCT, заключается в том, что Hive может обрабатывать некоторые запросы без запуска задания MapReduce.

Ссылки

...