Как удалить узел hadoop из DFS, но не из Mapred?

Question

Я довольно новичок в hadoop.Для запуска некоторых тестов мне нужно множество конфигураций hadoop для сравнения.

Я хочу знать способ удаления slave-устройства hadoop из DFS (больше не запущен демон datanode), но не из Mapred (продолжайте запускать TaskTracker),или наоборот.AFAIK, существует один ведомый файл для таких узлов Hadoop, а не отдельные ведомые файлы для DFS и Mapred.

В настоящее время я пытаюсь запустить DFS и Mapred на подчиненном узле, а затем убить датодель нараб.Но требуется некоторое время, чтобы поместить этот узел в «мертвые узлы» в графическом интерфейсе HDFS.Можно настроить любой параметр, чтобы ускорить этот тайм-аут?

Thankssss

Answer 1

Попробуйте использовать dfs.hosts и dfs.hosts.exclude в hdfs-site.xml, mapred.hosts и mapred.hosts.exclude в mapred-site.xml.Они предназначены для разрешения / исключения хостов для подключения к NameNode и JobTracker.

Как только список узлов в файлах был соответствующим образом обновлен, NameNode и JobTracker должны быть обновлены с помощью hadoop dfsadmin -refreshNodes иhadoop mradmin -refreshNodes команда соответственно.

Answer 2

Вместо использования файла slaves для запуска всех процессов в кластере вы можете запускать только необходимые демоны на каждом компьютере, если у вас мало узлов.