Контроль баланса использования Datanode в пределах различных мощностей хостов - PullRequest
0 голосов
/ 10 июня 2019

В моем кластере HDFS три датодода.Два имеют емкость диска 1,4 ТБ, а другой - 500 ГБ.

Проблема в том, что HDFS хранит данные одинаково для всех трех узлов.Теперь у меня есть данные HDFS объемом 450 ГБ на всех трех хостах, и тот, на котором есть хост на 500 ГБ, похоже, скоро столкнется с проблемами.

1) Есть ли способы перебалансировать все три Датододы в Ambari?

2) Существуют ли способы управления NameNode / DataNode, чтобы они не сохраняли данные на определенном канале данных?

Сначала я пытаюсь удалить DataNode с хоста 500 ГБ, но в Интернете есть некоторые комментарии о том, что если коэффициент репликациибольше, чем количество оставшихся узлов данных, будут некоторые проблемы.

Заранее спасибо !!

...