Уничтожение DFS в Hadoop

Question

Как мне стереть DFS в Hadoop?

Answer 1

Вам нужно сделать две вещи:

1. Удалить основной каталог хранения hadoop из каждого узла. Этот каталог определяется свойством hadoop.tmp.dir в вашем hdfs-site.xml.

2. Переформатировать имя:

hadoop namenode -format

Если вы только сделаете (2), он удалит только метаданные, хранящиеся в namenode, но не избавится от всех блоков временного хранения и данных.

Answer 2

bin/hadoop namenode -format

Answer 3

hdfs dfs -rm -r "/*"

(старый ответ устарел)

Answer 4

Вы можете оформить

hadoop fs -rmr /

Это удалит все каталоги и подкаталоги в DFS.

Другой вариант - остановить кластер, а затем выполнить команду:

hadoop namenode -format

Это приведет к удалению всего содержимого в DFS и повторному запуску кластера.

Answer 5

Так вот, что я должен был сделать в прошлом.

1. Перейдите в каталог hadoop на вашем NameNode, затем остановите все процессы hadoop. Запустив сценарий остановки по умолчанию по умолчанию. Это также остановит DFS. например,

cd myhadoopdirectory
bin/stop-all.sh

2. Теперь на каждой машине в вашем кластере (Namenodes, JobTrackers, Datanodes и т. Д.) Удаляйте все файлы в вашем основном хранилище hadoop. Для этого задана временная папка в корневой папке. Вы можете найти его в файле conf hdfs-site.xml в свойстве hadoop.tmp.dir, например,

cd /temp/
rm -r *

3. Наконец, вернитесь к узлу имени и отформатируйте его, перейдя в каталог hadoop и выполнив команду «bin / hadoop namenode -format», например.

cd myhadoopdirectory
bin/hadoop namenode -format

4. Запустите кластер еще раз, выполнив следующую команду. Он также снова запустит DFS.

bin/start-all.sh

5. И это должно работать.

Answer 6

1. Остановите свой кластер

   ${HADOOP_HOME}/bin/stop-mapred.sh

   ${HADOOP_HOME}/bin/stop-dfs.sh

   или, если это псевдораспространение, просто введите:

   ${HADOOP_HOME}/bin/stop-all.sh

2. Отформатируйте ваши hdfs

   hadoop namenode -format

Answer 7

1. Вам нужно позвонить bin/stop-all.sh, чтобы остановить dfs и mapreduce.
2. Удалить каталог данных, настроенный в conf / hdfs-site.xml и conf / mapred-site.xml .
3. Убедитесь, что вы удалили некоторые временные файлы, существующие в / tmp dir.

После всех вышеперечисленных шагов вы можете позвонить bin/hadoop namenode -format, чтобы восстановить DFS.