У нас есть кластер HDP версии 2.6.5 с компьютерами узлов данных (HDFS)
hdfs version
Hadoop 2.7.3.2.6.5.0-292
Subversion git@github.com:hortonworks/hadoop.git -r 3091053c59a62c82d82c9f778c48bde5ef0a89a1
Compiled by jenkins on 2018-05-11T07:53Z
Compiled with protoc 2.5.0
From source with checksum abed71da5bc89062f6f6711179f2058
This command was run using /usr/hdp/2.6.5.0-292/hadoop/hadoop-common-2.7.3.2.6.5.0-292.jar
В кластере есть 52 компьютеров узлов данных, в то время как каждый узел данных включает в себя 10 дисков и каждый диск размер 10TB
Недавно мы добавили еще один 30 компьютеров с узлами данных с 10 дисками 4TB каждого диска в кластер, так что теперь у нас есть 82 узлов данных
Доза HDFS может управлять несоответствием размера дисков в кластере узла данных?
Причина, по которой я задаю этот вопрос Это потому, что мы обеспокоены тем, что новые диски с 4TB на новых узлах данных могут быть заполнены до 100% полной емкости (поскольку диски составляют 40% от размера старых дисков)