HDFS блочное хранилище

Question

• 1) У меня кластер hdp с 2 датодами.Но коэффициент репликации для hdfs равен 3. Где в этом случае хранится 3-й блок реплики?
• 2) Если я загружаю файл в формате hdf (с коэффициентом репликации 3),
  не долженразмер файла увеличивается в 3 раза в формате hdf (поскольку существует 2
  дополнительных копий)
• 3) Есть ли способ, которым я мог бы проверить, какой блок данных находится в каком датоде (я понимаю, что метаданныеинформация будет
  находиться в узле имени, но есть ли команда, которая предоставит мне эту информацию)?

Answer 1

1) Так как NameNode не позволяет узлам DataNode иметь несколько реплик одного и того же блока, максимальное число созданных реплик - это общее количество узлов DataNode в то время.

Ссылка: https://hadoop.apache.org/docs/r3.1.1/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html#Simple_Coherency_Model(В разделе «Размещение реплики: первые шаги ребенка»)

Это означает, что если у вас есть 2 датоды, ваш коэффициент репликации не может быть 3.

2) Размер файла будет таким же.Однако использование трех реплик увеличит ваши затраты на хранение.Я имею в виду, что если ваш файл 2 ГБ.Вы храните свой файл, используя 3 реплики.Это означает, что вы выделяете 6 ГБ (2 ГБ для исходного файла и 2 + 2 ГБ для копий) для хранения вашего файла.