Восстановление баланса при выводе из эксплуатации датоде - PullRequest
0 голосов
/ 26 июня 2018

В настоящее время я снимаю данные с узла в моем кластере HDFS. Я заметил, что некоторые датододы очень полны, и поэтому я надеялся их сбалансировать.

Что происходит, когда выполняется перебалансировка кластера HDFS при выводе из эксплуатации узла данных? Это безопасная операция?

1 Ответ

0 голосов
/ 27 июня 2018

Вам не нужно выполнять операцию балансировки. Если ваш коэффициент репликации больше 2, значит, у вас уже есть реплицированные данные на других узлах.

Балансировка - это концепция, используемая, когда ваши данные реплицируются в неравных разделах. Предположим, ваши данные имеют репликацию 70% на одном узле и 30% на другом. Тогда могут быть недостаточно реплицированные блоки или чрезмерно реплицированные. Чтобы сохранить это, мы используем концепцию балансировки.

Если говорить о выводе из эксплуатации ваших Датододов, то это всегда безопасная операция. Потому что ваш Namenode способен реплицировать данные (основанные на списанном датоделе) на другие датододы в вашем кластере. Вам не нужно балансировать данные самостоятельно. Наменод позаботится об этом.

P.S .: - Просто убедитесь, что у ваших других Датододов достаточно места, чтобы скопировать на них все данные.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...