Работа Spark никогда не переходит из состояния ACCEPTED и зависает со статусом UNDEFINED.

Question

У меня есть простой кластер Hadoop, состоящий из одного главного узла и двух подчиненных узлов.Я установил spark и пытаюсь запустить предложенное примерное задание из примеров spark:

./bin/run-example SparkPi 10

Похоже, что все отправлено правильно и состояние задания обновлено до ПРИНЯТО, однако оноостается с этим статусом.При проверке выходных данных я обнаружил следующее:

2018-05-21 16:27:41 INFO  Client:54 - Application report for 
application_1526910547092_0004 (state: ACCEPTED)
2018-05-21 16:27:41 INFO  Client:54 - 
 client token: N/A
 diagnostics: [Mon May 21 16:27:40 +0200 2018] Application is added to the scheduler and is not yet activated. Skipping AM assignment as cluster resource is empty.  Details : AM Partition = <DEFAULT_PARTITION>; AM Resource Request = <memory:1024, vCores:1>; Queue Resource Limit for AM = <memory:0, vCores:0>; User AM Resource Limit of the queue = <memory:0, vCores:0>; Queue AM Resource Usage = <memory:0, vCores:0>; 
 ApplicationMaster host: N/A
 ApplicationMaster RPC port: -1
 queue: default
 start time: 1526912860005
 final status: UNDEFINED
 tracking URL: http://vm-10-155-208-189:8088/proxy/application_1526910547092_0004/
 user: root

В частности, следующее: Приложение добавлено в планировщик и еще не активировано.Пропуск AM-назначения, поскольку ресурс кластера пуст.Детали: AM Partition =;AM Resource Request =;Предел ресурса очереди для AM =;Пользователь AM Resource Limit of the queue =;Очередь AM Использование ресурсов =;

Таким образом, представляется, что у меня установлено ограничение в 0 для доступной памяти и ограничение в 0 для vCores?

У моих компьютеров по 8 ГБ ОЗУ каждый и по крайней мере 20 ГБ каждый из свободногопробел, поэтому я не уверен, почему это задание фактически никогда не выделяется никаким ресурсам?

Точно так же я не могу запустить оболочку spark, она просто навсегда зависает после ввода команды.

Должно быть, я что-то настроил неправильно, но я не уверен, что.В диспетчере ресурсов Hadoop я вижу задания и показывает, что на каждой машине достаточно ресурсов, поэтому я не понимаю, в чем причина проблемы.

Редактировать:

Добавлен скриншот из менеджера ресурсов,Означает ли это, что мне нужно изменить записи на более высокие номера?Если да, то как мне это сделать?

Answer 1

Я смог решить эту проблему, заметив, что в веб-интерфейсе Hadoop мои датоды показывались как активные, но в диспетчере ресурсов не отображались активные узлы.

Проблема была исправлена ​​путем изменения пряжи.site.xml на namenode и все датододы к следующему:

<configuration>
<property>
   <name>yarn.nodemanager.aux-services</name>
   <value>mapreduce_shuffle</value>
</property>
<property>
   <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
   <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
   <name>yarn.resourcemanager.scheduler.address</name>
   <value>master:8030</value>
</property>
<property>
   <name>yarn.resourcemanager.address</name>
   <value>master:8032</value>
</property>
<property>
   <name>yarn.resourcemanager.webapp.address</name>
   <value>master:8088</value>
</property>
<property>
    <name>yarn.resourcemanager.resource-tracker.address</name>
    <value>master:8031</value>
</property>
<property>
   <name>yarn.resourcemanager.admin.address</name>
   <value>master:8033</value>
</property>
</configuration>