Динамические узлы в Hadoop

Question

Можно ли добавить новые узлы в Hadoop после его запуска? Я знаю, что вы можете удалить узлы (так как мастер имеет тенденцию следить за состоянием узла).

Answer 1

Вы можете добавить новые узлы, просто загрузив новый с надлежащим hadoop-site.xml (тот, который указывает на главный namenode и jobtracker).

Тем не менее, удаление узлов - это действительно плохая идея без перебалансировки файловых блоков hdfs для предотвращения удаления всех дубликатов данного блока.

Если вы отбросите три datanodes, вы можете потерять все дубликаты для данного блока (который имеет репликацию 3, по умолчанию), что приведет к повреждению файла, которому принадлежит блок. Удаление двух узлов может оставить вас с одной репликой, и она может быть повреждена (известно, что это происходит с умирающими дисками).

Answer 2

Я думаю, что до тех пор, пока вы не используете их как датоды, у вас не будет проблем ... конечно, аспект локальности данных в Hadoop ушел на этом этапе.