Неверный 'DFS Remaining', о котором сообщает HDFS dfsadmin -report - PullRequest
Новая
       10

Неверный 'DFS Remaining', о котором сообщает HDFS dfsadmin -report

0 голосов
/ 02 декабря 2018

Я использую HDFS с версией hadoop-2.6.0-cdh5.15.0 с 3 датодами.

Очень часто наблюдается, что DFS Remaining, сообщаемый инструментом hdfs dfadmin -report, намного ниже, чемфактическое свободное дисковое пространство в разделе, где хранятся данные HDFS.

Я исследовал больше и подозреваю, что это может быть связано с или более из этих известных проблем в hdfs

https://issues.apache.org/jira/browse/HDFS-8072

https://issues.apache.org/jira/browse/HDFS-9038

https://issues.apache.org/jira/browse/HDFS-9530

Проблема заключается не только в том, что о нем сообщают неправильно, а в том, что он делает недоступным датодет для новых записей блока, как только остающаяся DFS достигает.низкий (даже при наличии достаточного свободного места на диске)

Единственный способ предотвратить это - регулярно перезапускать датододы так, чтобы DFS Remaining возвращалось к его правильному значению.

Ноиногда я замечаю, что значение DFS Remaining слишком быстро достигает слишком низкого значения (~ 4 часа), это означает, что мне нужно перезапускать датоды каждые 4 часа.

Является ли это единственно возможным обходным решением для решения этой проблемы?em или есть какие-то настройки, которые я могу настроить, чтобы предотвратить или уменьшить влияние проблемы.

Фактическое использование диска 

--platform1--
Filesystem          Size  Used Avail Use% Mounted on
/dev/mapper/vg-var  1.6T  802G  715G  53% /var
--platform2--
Filesystem          Size  Used Avail Use% Mounted on
/dev/mapper/vg-var  1.6T  295G  1.3T  20% /var
--platform3--
Filesystem          Size  Used Avail Use% Mounted on
/dev/mapper/vg-var  1.6T  317G  1.2T  21% /var

Остаток диска, сообщаемый dfadmin -report

$ sudo -u hdfs hdfs dfsadmin -report
Configured Capacity: 5160275083264 (4.69 TB)
Present Capacity: 3430912695157 (3.12 TB)
DFS Remaining: 3122322567284 (2.84 TB)
DFS Used: 308590127873 (287.40 GB)
DFS Used%: 8.99%
Under replicated blocks: 0
Blocks with corrupt replicas: 0
Missing blocks: 0
Missing blocks (with replication factor 1): 0

-------------------------------------------------
Live datanodes (3):

Name: x.x.x.x:50010 (platform2)
Hostname: platform2
Decommission Status : Normal
Configured Capacity: 1728548233216 (1.57 TB)
DFS Used: 106949161335 (99.60 GB)
Non DFS Used: 208876412553 (194.53 GB)
DFS Remaining: 1237362796874 (1.13 TB)
DFS Used%: 6.19%
DFS Remaining%: 71.58%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1488
Last contact: Sun Dec 02 07:42:34 UTC 2018


Name: x.x.x.x:50010 (platform3)
Hostname: platform3
Decommission Status : Normal
Configured Capacity: 1728548233216 (1.57 TB)
DFS Used: 104201662374 (97.05 GB)
Non DFS Used: 237217333338 (220.93 GB)
DFS Remaining: 1217030585122 (1.11 TB)
DFS Used%: 6.03%
DFS Remaining%: 70.41%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1395
Last contact: Sun Dec 02 07:42:34 UTC 2018


Name: x.x.x.x:50010 (platform1)
Hostname: platform1
Decommission Status : Normal
Configured Capacity: 1703178616832 (1.55 TB)
DFS Used: 97439304164 (90.75 GB)
Non DFS Used: 763141211676 (710.73 GB)
DFS Remaining: 667929185288 (622.06 GB)
DFS Used%: 5.72%
DFS Remaining%: 39.22%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1478
Last contact: Sun Dec 02 07:42:34 UTC 2018
...