Hadoop 3.1.1 показывает только одну живую датододу - PullRequest
Новая
       114

Hadoop 3.1.1 показывает только одну живую датододу

0 голосов
/ 23 декабря 2018

Я установил hadoop 3.1.1 на 3 виртуальных машинах с VMware на Ubuntu.Когда я запускаю hdfs namenode -format и start-all.sh, тогда jps работает правильно на моем главном и двух подчиненных узлах.

Тем не менее, с помощью команды hdfs dfsadmin -report я вижу только один живой узел данных (я получаю тот же результат, когда проверяю мастер: 50070 или8088).

Я попытался отключить брандмауэр следующим образом: ufw disable , но это не решило проблему.3 машины могут соединяться друг с другом (без пароля) с помощью ping и ssh .Я также удалил папку hadoop tmp с папками datanode и namenode, но она не сработала.Также в файлах журнала проблем не обнаружено .

Есть ли у вас какие-либо решения, чтобы получить три живых данных вместо одной ?Спасибо.

Это мои файлы конфигурации:

yarn-site.xml 

<configuration>
<property>
  <name>yarn.resourcemanager.hostname</name>
  <value>master</value>
</property>
<property>
    <name>yarn.resourcemanager.resource-tracker.address</name>
    <value>master:8025</value>
</property>
<property>
    <name>yarn.resourcemanager.scheduler.address</name>
    <value>master:8035</value>
</property>
<property>
    <name>yarn.resourcemanager.address</name>
    <value>master:8050</value>
</property>
</configuration>

hdfs-site.xml 

<configuration>
<property>
    <name>dfs.datanode.data.dir</name>
<value>/usr/local/hadoop_tmp/hdfs/datanode</value>
    <final>true</final>
</property>
<property>
    <name>dfs.namenode.name.dir</name>
    <value>/usr/local/hadoop_tmp/hdfs/namenode</value>
    <final>true</final>
</property>
<property>
    <name>dfs.namenode.http-address</name>
    <value>master:50070</value>
</property>
<property>
    <name>dfs.replication</name>
<value>3</value> 
</property>
</configuration>

core-site.xml 

<configuration>
<property>
    <name>fs.default.name</name>
    <value>hdfs://master:9000/</value>
</property>
<property>
    <name>fs.default.FS</name>
    <value>hdfs://master:9000/</value>
</property>
</configuration>

работников 

   master
   slave1
   slave2

1 Ответ

0 голосов
/ 24 декабря 2018

Я нашел решение.Проблема была в брандмауэре.Но "UFW" не помогает.Мне нужно было сделать эти команды: 

sudo iptables -L -v
sudo iptables -F
sudo iptables -X
sudo iptables -t nat -F
sudo iptables -t nat -X
sudo iptables -t mangle -F
sudo iptables -t mangle -X
sudo iptables -P INPUT ACCEPT
sudo iptables -P FORWARD ACCEPT
sudo iptables -P OUTPUT ACCEPT
...