Мне просто любопытно узнать, что будет основной причиной блоков UNDER REPLICA
У нас есть кластер ambari с версией HDP - 2.6.5
Количество узлов данных машин - 5
Поскольку у него всегда было бы как минимум три копии, я думал, что это будет трудно (но случается)
Если HDFS не может создать одну копию или обнаруживает повреждение, не попытается ли она восстановить, скопировав хорошую копию в другой узел данных?
Или, если файл был правильно создан в HDFS, он никогда не проверяет если файл поврежден или нет до перезапуска HDFS?
Для исправления недопустимой реплики мы можем использовать следующие шаги:
su hdfs
hdfs fsck / | grep 'Under replicated' | awk -F':' '{print $1}' >> /tmp/under_replicated_files
for hdfsfile in `cat /tmp/under_replicated_files`; do echo "Fixing $hdfsfile :" ; hadoop fs -setrep 3 $hdfsfile; done
как hadoop fs -setrep 3, это работы?