Hadoop наменоде, отвергающий соединения !?Что я делаю неправильно? - PullRequest
Новая
       13

Hadoop наменоде, отвергающий соединения !?Что я делаю неправильно?

4 голосов
/ 15 сентября 2011

Моя конфигурация:

Машинный кластер серверного класса (4 машины), каждый с RHEL, 8 ГБ ОЗУ, четырехъядерные процессоры.Я настраиваю машину «B1», чтобы она была ведущей, а остальные - рабами (B2, B3, B4).Начал dfs-start.sh, узел имени появился на 53410 на B1.Остальные узлы не могут подключиться к B1 на 53410!

Вот что я сделал до сих пор:

  1. Пробовал "telnet B1 53410" от B2, B3, B4 - Отказ в соединении.
  2. Пробовал ssh к B1 от B2, B3, B4 и наоборот - без проблем, работает нормально.
  3. Изменил 53410 на 55410, перезапустил dfs, та же проблема - соединение с этим портом также отклонено.
  4. Отключен брандмауэр (остановка iptables) вкл.B1 - попытка соединения с B2, B3, B4 - сбой в telnet.
  5. Отключенный брандмауэр на всех узлах, повторная попытка, сбой подключения к 53410.
  6. Проверено, что ftp работал с B2,B3, B4 - B1, остановил службу ftp (остановка службы vsftpd), попытался вызвать dfs на стандартном порту ftp (21), появляется namenode, остальные узлы снова выходят из строя.Не может даже telnet к порту ftp от B2, B3, B4.
  7. "telnet localhost 53410" отлично работает на B1.

Все узлы доступны друг от друга и всеВ / etc / hosts настроено правильное сопоставление для IP-адресов.Итак, я в значительной степени невежественен на данный момент.С какой стати namenode отклоняет соединения - есть ли настройка в hadoop conf, о которой я должен знать, чтобы внешние клиенты могли подключаться удаленно через порт namenode?

Ответы [ 4 ]

4 голосов
/ 23 февраля 2012

Предыдущие ответы мне не были понятны.В основном каждый сервер hadoop (узел или namenode) будет создавать сервер и прослушивать IP-адрес, связанный с его именем поиска.

Допустим, у вас есть 3 блока (box1, box2, box3), файл / etc / hostsдолжно выглядеть так: 

127.0.0.1 localhost
192.168.10.1 box1
192.168.10.2 box2
192.168.10.3 box3

Вместо: 

127.0.0.1 localhost box1
192.168.10.2 box2
192.168.10.3 box3
//(this is incorrect, box one will be listening exclusively on 127.0.0.1)
2 голосов
/ 15 сентября 2011

исправил это .. это была неправильная запись в моем / etc / hosts.Все узлы соединялись по шлейфу с мастером.

1 голос
/ 15 сентября 2011

Попробуйте изменить файл conf / core-site.xml 

<property>
  <name>fs.default.name</name>
  <value>hdfs://localhost:54310</value>
</property>

с localhost на имя вашего компьютера?

0 голосов
/ 18 февраля 2014

Установите DataNode с правами доступа к файлу: 

chmod 755 /home/svenkata/hadoop/datanode/
...