Hadoop: менеджер ресурсов не работает на локальном хосте

Question

Так что я не могу получить доступ к http://localhost:8088/ в hadoop 3.1.1

Вот что я сделал:

1. bin / hdfs namenode -format
2. sbin / start-dfs.sh
3. bin / hdfs dfs -mkdir / user
4. bin / hdfs dfs -mkdir / user / username

Веб-интерфейс для NameNode работает, но не для Resource Manager.

ядро-site.xml:

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

HDFS-site.xml:

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

mapred-site.xml:

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

<configuration>
    <property>
        <name>mapreduce.application.classpath</name>
        <value>$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*</value>
    </property>
</configuration>

yarn-site.xml:

<configuration>
        <property>
             <name>yarn.resourcemanager.address</name>
             <value>127.0.0.1:8032</value>
         </property>
         <property>
              <name>yarn.resourcemanager.scheduler.address</name>
              <value>127.0.0.1:8030</value>
         </property>
         <property>
              <name>yarn.resourcemanager.resource-tracker.address</name>
              <value>127.0.0.1:8031</value>
        </property>

             <property>
                   <name>yarn.nodemanager.aux-services</name>
                   <value>mapreduce_shuffle</value>
                 </property>
                 <property>
                        <name>yarn.nodemanager.env-whitelist</name>
      <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
                </property>
</configuration>

.bash_profile

export PATH="/usr/local/sbin:$PATH"

export SCALA_HOME=/usr/local/scala
export JAVA_HOME=/Library/Java/JavaVirtualMachines/openjdk-11.0.1.jdk/Contents/Home
export SPARK_HOME=/usr/local/spark

export HADOOP_HOME=/usr/local/Cellar/hadoop/3.1.1/libexec/
export HADOOP_CONF_DIR=/usr/local/Cellar/hadoop/3.1.1/libexec/etc/hadoop

export PATH=$PATH:/usr/local/hadoop/bin
export PATH=$PATH:/usr/local/spark/bin
export PATH=$PATH:/usr/local/scala/bin

export HADOOP_MAPRED_HOME=$HADOOP_HOME

export HADOOP_COMMON_HOME=$HADOOP_HOME

export HADOOP_HDFS_HOME=$HADOOP_HOME

export YARN_HOME=$HADOOP_HOME

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

export HADOOP_OPTS=-Djava.library.path=$HADOOP_HOME/lib

export PATH=$HADOOP_HOME/bin:$PATH

export PATH=$HADOOP_HOME/sbin:$PATH

Проблема в том, что я запускаю: sbin / start-yarn.sh вот результат
Запуск менеджера ресурсов на []
Начальные менеджеры узлов

разве не должно быть сказано: Запускать менеджеры ресурсов на [localhost]?

Answer 1

По умолчанию для имени хоста из документации указано 0.0.0.0, а не для localhost, если вы хотите настроить его явно, ниже приведены свойства, и здесь представлены значения по умолчанию, вы можете переопределить их.

yarn.resourcemanager.hostname 0.0.0.0 Имя хоста RM. yarn.resourcemanager.address $ {yarn.resourcemanager.hostname}: 8032 адрес интерфейса диспетчера приложений в RM.