Узел Hadoop не активен

Question

У меня 1 главный узел и 1 вспомогательный узел.

Моя проблема заключается в том, что при запуске карты уменьшается обработка.Ведомый узел не работает.Кто-нибудь может предоставить справку о том, как проверить, изменить и убедиться, что ведомое устройство работает?

Информацию о файлах конфигурации можно найти также по указанному ниже URL-адресу https://drive.google.com/file/d/1ULEe6k2zYnfQDQUQIbz_xR29WgT1DJhB/view

Вот мое наблюдение

1) Когда я проверяю использование ресурсов ЦП, ведомые устройства не работают и ресурсы ЦП на 0% при запуске карты уменьшают работу, а мастер на 44% ресурсов ЦП.см. вложение.

2) Когда я запускаю отчет dfs, он показывает, что у него есть 2 живых узла, но в сети кластера он показывает только 1. См. вложение и ниже. 3) Общее время обработки карты уменьшается с ведомым или без подчиненного устройства

-------------------------------------------------
Live datanodes (2):

Name: 192.168.249.128:9866 (node-master)
Hostname: localhost
Decommission Status : Normal
Configured Capacity: 20587741184 (19.17 GB)
DFS Used: 174785723 (166.69 MB)
Non DFS Used: 60308293 (57.51 MB)
DFS Remaining: 20352647168 (18.95 GB)
DFS Used%: 0.85%
DFS Remaining%: 98.86%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Tue Oct 23 11:17:39 PDT 2018
Last Block Report: Tue Oct 23 11:07:32 PDT 2018
Num of Blocks: 93


Name: 192.168.249.129:9866 (node1)
Hostname: localhost
Decommission Status : Normal
Configured Capacity: 20587741184 (19.17 GB)
DFS Used: 85743 (83.73 KB)
Non DFS Used: 33775889 (32.21 MB)
DFS Remaining: 20553879552 (19.14 GB)
DFS Used%: 0.00%
DFS Remaining%: 99.84%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Tue Oct 23 11:17:38 PDT 2018
Last Block Report: Tue Oct 23 11:03:59 PDT 2018
Num of Blocks: 4

Answer 1

Вы показываете датоды с dfsreport, а не менеджеры узлов, которые на самом деле обрабатывают данные.В пользовательском интерфейсе YARN вы захотите обратить внимание на счетчик «Активные узлы», который в вашем случае равен 1 .Это имело бы смысл, если ведущим является менеджер по наменоду и ресурсам, в то время как ведомое устройство будет управлять данными и нодами.

Кроме этого, если у вас есть неразборный файл, например ZIP, или размер вашего файла меньше размера блока (по умолчанию 128 МБ), то только один преобразователь будет обрабатывать его.Кроме того, не гарантируется, что мапперы (или редукторы) будут распределены равномерно по всем доступным ресурсам

Вне среды обучения, однако, 40 ГБ памяти и 8 ГБ ОЗУ лучше потратить на многопоточностьчем распределенные вычисления (или надлежащая база данных; т.е. разбирать файлы и загружать их в запрашиваемое хранилище).Или используйте Spark или Pig, которые не требуют Hadoop, но с которыми гораздо проще работать, чем MapReduce