Как отследить, какой блок данных находится в каком узле данных в hadoop?

Question

Если блок данных реплицируется, в какой узел данных он будет реплицирован? Есть ли инструмент, чтобы показать, где присутствуют реплицированные блоки?

Answer 1

Если вы знаете имя файла, вы можете посмотреть его в браузере DFS.

Зайдите в свой веб-интерфейс namenode, скажите «просмотрите файловую систему» ​​и перейдите к нужному файлу. В нижней части страницы будет список всех блоков в файле, и где каждый из эти блоки расположены.

ПРИМЕЧАНИЕ: Это выглядит так, когда вы нажимаете на фактический файл в файловой системе HDFS.

В качестве альтернативы вы можете запустить:

hadoop fsck / -files -blocks -locations

Который будет сообщать обо всех блоках и всех их местах.

Answer 2

Есть хороший инструмент, открытый CERN - см. Статью в блоге https://db -blog.web.cern.ch / блог / Даниель-Ланца-Garcia / 2016-04-инструмента визуализации-блок-распределение-Hadoop-HDFS-кластер

Было бы показано не только расположение блоков между узлами, но и между дисками на этих узлах (табличное представление):

Код этого проекта можно найти здесь: https://github.com/cerndb/hdfs-metadata

Внутри этого инструмента CERN используются вызовы API для Hadoop - см., Например, https://github.com/cerndb/hdfs-metadata/blob/master/src/main/java/ch/cern/db/hdfs/DistributedFileSystemMetadata.java#L168

так что это намного быстрее, чем использование инструментов cli, если вы планируете запустить его, например, на многих файлах, а затем увидеть консолидированные результаты.

hdfs fsck / -files -blocks -locations позволяет просматривать только один файл за раз.

Мы используем этот инструмент, чтобы увидеть, правильно ли распределена огромная паркетная таблица по узлам и дискам, чтобы проверить, не происходит ли перекос при обработке данных из-за недостатков в распределении данных.