Ошибки при запуске hadoop

Question

haduser@user-laptop:/usr/local/hadoop$ bin/hadoop dfs -copyFromLocal /tmp/input 
/user/haduser/input

11/12/14 14:21:00 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:54310. Already tried 0 time(s).

11/12/14 14:21:01 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:54310. Already tried 1 time(s).

11/12/14 14:21:02 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:54310. Already tried 2 time(s).

11/12/14 14:21:03 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:54310. Already tried 3 time(s).

11/12/14 14:21:04 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:54310. Already tried 4 time(s).

11/12/14 14:21:05 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:54310. Already tried 5 time(s).

11/12/14 14:21:06 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:54310. Already tried 6 time(s).

11/12/14 14:21:07 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:54310. -Already tried 7 time(s).

11/12/14 14:21:08 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:54310. Already tried 8 time(s).

11/12/14 14:21:09 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:54310. Already tried 9 time(s).

Bad connection to FS. command aborted. exception: Call to localhost/127.0.0.1:54310 failed on connection exception: java.net.ConnectException: Connection refused

Я получаю вышеуказанные ошибки, когда пытаюсь скопировать файлы из /tmp/input в /user/haduser/input, даже если файл /etc/hosts содержит запись для localhost. Когда выполняется jps command, TaskTracker и namenode не отображаются в списке.

В чем может быть проблема? Пожалуйста, кто-нибудь, помогите мне с этим.

Answer 1

У меня были похожие проблемы - На самом деле Hadoop связывался с IPv6. Затем я добавил - "export HADOOP_OPTS=-Djava.net.preferIPv4Stack=true" к $HADOOP_HOME/conf/hadoop-env.sh

Hadoop связывался с IPv6, даже когда я отключил IPv6 в своей системе. Как только я добавил его в env, начал работать нормально.

Надеюсь, это кому-нибудь поможет.

Answer 2

Попробуйте сделать ssh для вашей локальной системы, используя IP, в этом случае:

$ ssh 127.0.0.1

Как только вы сможете успешно выполнить SSH. Запустите приведенную ниже команду, чтобы узнать список открытых портов

~ $ lsof -i

искать прослушивающий соединитель с именем: localhost: (LISTEN)

скопируйте это и замените существующее значение номера порта в теге свойства fs.default.name в файле core-site.xml в папке hadoop conf

сохраните файл core-site.xml, это должно решить проблему.

Answer 3

Все файлы в корзине являются исполняемыми. Просто скопируйте команду и вставьте ее в терминал. Убедитесь, что адрес правильный, то есть пользователь должен быть заменен чем-то. Это бы сработало.

Answer 4

NameNode (NN) поддерживает пространство имен для HDFS, и оно должно быть запущено для операций файловой системы на HDFS.Проверьте журналы, почему NN не запустился.TaskTracker не требуется для операций на HDFS, достаточно только NN и DN.Ознакомьтесь с учебными руководствами http://goo.gl/8ogSk и http://goo.gl/NIWoK о том, как настроить Hadoop для одного и нескольких узлов.