HADOOP - В доступе отказано в выполнении start-all.sh - PullRequest
Новая
       5

HADOOP - В доступе отказано в выполнении start-all.sh

0 голосов
/ 10 сентября 2018

Я пытаюсь установить Hadoop на свой ноутбук. Я следовал этому руководству: https://www.michael -noll.com / tutorials / running-hadoop-on-ubuntu-linux-single-node-cluster /

Когда я пытаюсь запустить start-all.sh, я получаю следующее: 

vava@vava-ThinkPad:/usr/local/hadoop-3.1.1/sbin$ bash start-all.sh
WARNING: Attempting to start all Apache Hadoop daemons as vava in 10 seconds.

WARNING: This is not a recommended production deployment configuration.
WARNING: Use CTRL-C to abort.
Starting namenodes on [localhost]
pdsh@vava-ThinkPad: localhost: rcmd: socket: Permission denied
Starting datanodes
pdsh@vava-ThinkPad: localhost: rcmd: socket: Permission denied
Starting secondary namenodes [vava-ThinkPad]
pdsh@vava-ThinkPad: vava-ThinkPad: rcmd: socket: Permission denied
Starting resourcemanager
resourcemanager is running as process 3748.  Stop it first.
Starting nodemanagers
pdsh@vava-ThinkPad: localhost: rcmd: socket: Permission denied

Я пытался следить за этими вопросами, но ничего не изменилось:

запуск процесса hadoop с использованием start-all.sh приводит к проблемам

Разрешение Hadoop

РЕДАКТИРОВАТЬ: После того, как я попробовал все варианты, единственное, что, кажется, работает - export PDSH_RCMD_TYPE=ssh. Теперь проблема с наменодом и датододом. Не запускается должным образом: 

vava@vava-ThinkPad:/usr/local/hadoop-3.1.1$ sbin/start-all.sh
WARNING: Attempting to start all Apache Hadoop daemons as vava in 10 seconds.
WARNING: This is not a recommended production deployment configuration.
WARNING: Use CTRL-C to abort.
Starting namenodes on [localhost]
pdsh@vava-ThinkPad: localhost: ssh exited with exit code 1
Starting datanodes
localhost: ERROR: Cannot set priority of datanode process 10937
pdsh@vava-ThinkPad: localhost: ssh exited with exit code 1
Starting secondary namenodes [vava-ThinkPad]
Starting resourcemanager
Starting nodemanagers

Ответы [ 3 ]

0 голосов
/ 12 сентября 2018

Создайте новый файл 

/etc/pdsh/rcmd_default

, запишите в него «ssh», а затем сохраните и выйдите.Убедитесь, что вы вводите символ возврата и начинаете новую строку, в противном случае вам будет предложено выйти из SSH с кодом 1 

echo "ssh" > /etc/pdsh/rcmd_default
0 голосов
/ 07 марта 2019

В моем случае вам нужно обязательно скопировать RSA на текущий локальный хост 

ssh-copy-id -i /home/hadoop/.ssh/id_rsa.pub hadoop@localhost

Предполагается, что вы вошли в систему на узле-мастере с помощью "hadoop"

0 голосов
/ 10 сентября 2018

Я бы проверил:

  • export PDSH_RCMD_TYPE=ssh в вашем терминале
  • Настройки локального брандмауэра
  • Запуск команды от имени root: sudo /usr/local/hadoop-3.1.1/sbin$ bash start-all.sh
  • chmod -R 755 /usr/local/hadoop-3.1.1

Для вашего дополнительного вопроса:

  • Установите JAVA_HOME в hadoop-env.sh и убедитесь, что в этом файле указаны все остальные параметры
  • Сменить пользователя, Attempting to start all Apache Hadoop daemons as vava in 10 seconds. "vava" Неправильно, попробуйте su -l hdfs, затем запустите скрипт
...