восстановление hdfs после сбоя узла данных - PullRequest
0 голосов
/ 11 июня 2018

У меня есть 4-х узловый кластер hadoop с 2 главными узлами и 2 узлами данных.У меня много файлов в этом кластере.Один из моих узлов данных вышел из строя (случайно прерван с консоли aws).Поскольку у меня был коэффициент репликации 1, я предполагаю, что это не приведет к потере данных.Я добавил новый узел и сделал его как узел данных.Но теперь мой hdfs dfsadmin -report говорит много пропущенных блоков.Почему это ?Как я могу восстановиться отсюда?Я не могу выполнить fsck -delete, так как эти файлы важны для меня.Когда я пробовал distcp из этого кластера в другой недавно созданный кластер, я получаю отсутствующие исключения блоков.Нужно ли делать какие-либо шаги после добавления нового узла данных?

enter image description here

1 Ответ

0 голосов
/ 11 июня 2018

Рекомендованный коэффициент репликации в Hadoop - 3. При значении 1 вы вообще не получаете никакой реплики, следовательно, вы потеряли некоторые данные!

...