Наменоде не начало

Question

Я использовал Hadoop в псевдораспределенном режиме, и все работало нормально. Но потом мне пришлось перезагрузить компьютер по какой-то причине. И теперь, когда я пытаюсь запустить Namenode и Datanode, я вижу, что работает только Datanode. Может ли кто-нибудь сказать мне возможную причину этой проблемы? Или я что-то не так делаю?

Я пробовал оба bin/start-all.sh и bin/start-dfs.sh.

Answer 1

Я столкнулся с тем же после перезапуска.

для hadoop-2.7.3 все, что мне нужно было сделать, это отформатировать namenode:

<HadoopRootDir>/bin/hdfs namenode -format

Затем команда jps показывает

6097 DataNode
755 RemoteMavenServer
5925 NameNode
6293 SecondaryNameNode
6361 Jps

Answer 2

Я запустил $hadoop namenode, чтобы запустить наменоде вручную на переднем плане.

Из журналов я выяснил, что 50070 занят, который по умолчанию использовался dfs.namenode.http-address. После настройки dfs.namenode.http-address в hdfs-site.xml все прошло хорошо.

Answer 3

Если ваш namenode застрял в безопасном режиме, вы можете ssh to namenode, su hdfs user и запустить следующую команду, чтобы отключить safemode:

hdfs dfsadmin -fs hdfs://server.com:8020 -safemode leave

Answer 4

Вы меняли conf/hdfs-site.xml dfs.name.dir?

Форматировать наменоде после его изменения.

$ bin/hadoop namenode -format
$ bin/hadoop start-all.sh

Answer 5

У меня сработало следующее после того, как я сменил каталог наменода и датодан в hdfs-site.xml

- перед выполнением следующих шагов остановите все службы с помощью stop-all.sh или в моем случае я использовал stop-dfs.sh, чтобы остановить dfs

1. В новом настроенном каталоге для каждого узла (namenode и datanode) удалите все папки / файлы внутри него (в моем случае это «текущий» каталог).
2. удалить временный каталог Hadoop: $rm -rf /tmp/haddop-$USER
3. форматирование Наменоде: hadoop/bin/hdfs namenode -format
4. start-dfs.sh

После того, как я выполнил эти шаги, мои namenode и датододы были живы, используя новый настроенный каталог.

Answer 6

Столкнулся с той же проблемой.

(1) Всегда проверяйте ошибки ввода при настройке файлов .xml, особенно тегов xml.

(2) переходите к bin dir.и введите ./start-all.sh

(3), затем введите jps, чтобы проверить, работают ли процессы

Answer 7

Попробуйте это,

1) Остановить все процессы hadoop: stop-all.sh

2) Удалить папку tmp вручную

3) Формат наменоде: hadoop namenode -format

4) Запустить все процессы: start-all.sh

Answer 8

Если вы столкнулись с этой проблемой после перезагрузки системы, то нижеприведенные шаги будут работать нормально

Для обхода.

1) отформатируйте namenode: bin/hadoop namenode -format

2) снова запустите все процессы: bin/start-all.sh

Для исправления в Перми: -

1) Перейдите в /conf/core-site.xml и измените fs.default.name на свой собственный.

2) отформатировать имя: bin/hadoop namenode -format

3) снова запустить все процессы: bin/start-all.sh

Answer 9

Если вы сохранили настройки по умолчанию при запуске hadoop, порт для namenode будет 50070. Вам нужно будет найти все процессы, запущенные на этом порту, и сначала убить их.

• Остановите все запущенные hadoop с помощью: bin/stop-all.sh

  проверить все процессы, работающие в порту 50070

• sudo netstat -tulpn | grep :50070 # проверять все процессы, запущенные в порт 50070, если есть появляются на RHS на выходе.

• sudo kill -9 <process_id> #kill_the_process.

• sudo rm -r /app/hadoop/tmp # удалить временную папку

• sudo mkdir /app/hadoop/tmp # создать его

• sudo chmod 777 –R /app/hadoop/tmp (777 дано только для этого примера)

• bin/hadoop namenode –format # формат hadoop namenode

• bin/start-all.sh # start-all hadoop services

см. этот блог

Answer 10

Вместо форматирования namenode, возможно, вы можете использовать приведенную ниже команду для перезапуска namenode. У меня это сработало:

перезапуск службы sudo-hadoop-master

2. hadoop dfsadmin -safemode оставить