Кластер Hadoop находится в безопасном режиме (Namenode находится в безопасном режиме) Какие ресурсы мне необходимо освободить, чтобы удалить безопасный режим?

Question

Я сделал снимок своего кластера.Вот мои выводы:

Safe mode is ON
Configured Capacity: 47430737653760 (43.14 TB)
Present Capacity: 20590420062208 (18.73 TB)
DFS Remaining: 19343468953600 (17.59 TB)
DFS Used: 1246951108608 (1.13 TB)
DFS Used%: 6.06%
Under replicated blocks: 2
Blocks with corrupt replicas: 0
Missing blocks: 0

-------------------------------------------------
Live datanodes (5):

Name: 10.0.70.144:50010 (slave2)
Hostname: slave2
Decommission Status : Normal
Configured Capacity: 9486147530752 (8.63 TB)
DFS Used: 209829912576 (195.42 GB)
Non DFS Used: 4733044670464 (4.30 TB)
DFS Remaining: 4543272947712 (4.13 TB)
DFS Used%: 2.21%
DFS Remaining%: 47.89%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Sat Oct 13 16:57:21 IST 2018


Name: 10.0.70.143:50010 (slave1)
Hostname: slave1
Decommission Status : Normal
Configured Capacity: 9486147530752 (8.63 TB)
DFS Used: 206771748864 (192.57 GB)
Non DFS Used: 4070449033216 (3.70 TB)
DFS Remaining: 5208926748672 (4.74 TB)
DFS Used%: 2.18%
DFS Remaining%: 54.91%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Sat Oct 13 16:57:21 IST 2018


Name: 10.0.70.145:50010 (slave3)
Hostname: slave3
Decommission Status : Normal
Configured Capacity: 9486147530752 (8.63 TB)
DFS Used: 205542408192 (191.43 GB)
Non DFS Used: 5523446423552 (5.02 TB)
DFS Remaining: 3757158699008 (3.42 TB)
DFS Used%: 2.17%
DFS Remaining%: 39.61%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Sat Oct 13 16:57:21 IST 2018


Name: 10.0.70.147:50010 (slave5)
Hostname: slave5
Decommission Status : Normal
Configured Capacity: 9486147530752 (8.63 TB)
DFS Used: 209182961664 (194.82 GB)
Non DFS Used: 5516635717632 (5.02 TB)
DFS Remaining: 3760328851456 (3.42 TB)
DFS Used%: 2.21%
DFS Remaining%: 39.64%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Sat Oct 13 16:57:22 IST 2018


Name: 10.0.70.146:50010 (slave4)
Hostname: slave4
Decommission Status : Normal
Configured Capacity: 9486147530752 (8.63 TB)
DFS Used: 415624077312 (387.08 GB)
Non DFS Used: 6996741746688 (6.36 TB)
DFS Remaining: 2073781706752 (1.89 TB)
DFS Used%: 4.38%
DFS Remaining%: 21.86%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Sat Oct 13 16:57:21 IST 2018

Какие ресурсы мне нужно освободить, чтобы NN покинул безопасный режим.Я могу попробовать команду dfsadmin safemode покинуть, но мне нужно убедиться, что запуск заданий MR не завершится неудачей в следующий раз.Я пытаюсь обработать 400 ГБ текстовых данных с помощью задания MR.У меня осталось еще 3,2 ТБ данных для обработки.Пожалуйста, помогите мне эффективно обработать данные.

Answer 1

У Каменода были проблемы с дисковым пространством./dev/mapper/centos-root был заполнен на 100%.Я удалил некоторые файлы из него, чтобы создать место.Вот текущий снимок:

[hduser@secondary ~]$ df 
Filesystem               1K-blocks      Used Available Use% Mounted on
/dev/mapper/centos-root 1116838084 557248752 502833928  53% /

После создания пространства я вышел из безопасного режима с помощью команды hadoop dfsadmin -safemode leave и запустил свое задание MR, которое успешно завершилось.