Перераспределение в распределенной файловой системе Hadoop (HDFS) - PullRequest
0 голосов
/ 15 мая 2019

Есть ли способ перераспределения данных непосредственно в HDFS?Если вы заметили, что ваши разделы несбалансированы (один или несколько гораздо больше других), как вы можете с этим справиться?

Я знаю, что это можно сделать ex в Apache Spark, но кажется, что выполнение задания просто перераспределениекак накладные расходы - или, может быть, это хорошая идея?

1 Ответ

0 голосов
/ 17 мая 2019

Пробег hdfs balancer.Этот инструмент, который равномерно распределяет блоки HDFS по узлам данных.

https://hadoop.apache.org/docs/r2.7.1/hadoop-project-dist/hadoop-hdfs/HDFSCommands.html#balancer

Если вы используете дистрибутив Cloudera Manager или Ambari, вы можете запустить балансировщик HDFS из их веб-интерфейса.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...