Значение dfs.blocksize и BlockCapacity отличается

Question

BlockCapacity, указанный в ответе REST NameNode, отличается от того, что мы установили в Ambari для HDFS dfs.blocksize.

Извлечение емкости блока с помощью следующего запроса REST

https://<namenode-ip>:50470/jmx?qry=Hadoop:service=NameNode,name=FSNamesystem

Я получаю значение для BlockCapacity 2097152, что эквивалентно 2 МБ.

Значение dfs.blocksize в Ambari по умолчанию составляет 128 МБ.

Являются ли BlockCapacity из ответа API REST NameNode и dfs.blocksize из Ambari одинаковыми или разными?

Answer 1

BlockCapacity относится к общему количеству блоков, которые может содержать HDFS. Значение вычисляется на основе выделенного размера кучи Namenode. Требуемый размер кучи может быть получен на основе значений, настроенных для dfs.replication, dfs.blocksize и общей емкости DFS.

Найденные примеры здесь описывают, как эти конфигурации помогают в определении размера кучи наменода, тем самым определяя емкость блока.

В этом случае файловая система может содержать всего 2097152 блоков (исключая репликацию) каждый с настроенным dfs.blocksize как максимальный размер на блок.