Hadoop - Борьба с первой настройкой

Question

Я пытаюсь установить Hadoop на мой компьютер с Windows 7.Я делаю это впервые и следую инструкциям здесь.

https://wiki.apache.org/hadoop/Hadoop2OnWindows

Я прошел через все настройки и настроил мои настройки так, чтобы они выглядели так, как описано ниже.

Я выполнил и установил Java из папки ниже:

C:\Java\jdk-8u201-windows-x64.exe

У меня есть все папки и файлы Hadoop, здесь:

C:\Hadoop\

Я изменил следующие файлы следующим образом:

hadoop-env.sh

set JAVA_Home=C:\Java

set HADOOP_PREFIX=C:\Hadoop\
set HADOOP_CONF_DIR=%HADOOP_PREFIX%
set YARN_CONF_DIR=%HADOOP_CONF_DIR%
set PATH=%PATH%;%HADOOP_PREFIX%\bin

#

core-site.xml:

<configuration>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://localhost:19000</value>
    </property>
</configuration>

#

hdfs-site.xml:

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

mapred-site.xml:

<configuration>

   <property>
     <name>mapreduce.job.user.name</name>
     <value>%USERNAME%</value>
   </property>

   <property>
     <name>mapreduce.framework.name</name>
     <value>yarn</value>
   </property>

  <property>
    <name>yarn.apps.stagingDir</name>
    <value>/user/%USERNAME%/staging</value>
  </property>

  <property>
    <name>mapreduce.jobtracker.address</name>
    <value>local</value>
  </property>

</configuration>

#

yaml-site.xml:

<configuration>
  <property>
    <name>yarn.server.resourcemanager.address</name>
    <value>0.0.0.0:8020</value>
  </property>

  <property>
    <name>yarn.server.resourcemanager.application.expiry.interval</name>
    <value>60000</value>
  </property>

  <property>
    <name>yarn.server.nodemanager.address</name>
    <value>0.0.0.0:45454</value>
  </property>

  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>

  <property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  </property>

  <property>
    <name>yarn.server.nodemanager.remote-app-log-dir</name>
    <value>/app-logs</value>
  </property>

  <property>
    <name>yarn.nodemanager.log-dirs</name>
    <value>/dep/logs/userlogs</value>
  </property>

  <property>
    <name>yarn.server.mapreduce-appmanager.attempt-listener.bindAddress</name>
    <value>0.0.0.0</value>
  </property>

  <property>
    <name>yarn.server.mapreduce-appmanager.client-service.bindAddress</name>
    <value>0.0.0.0</value>
  </property>

  <property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
  </property>

  <property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>-1</value>
  </property>

  <property>
    <name>yarn.application.classpath</name>
    <value>%HADOOP_CONF_DIR%,%HADOOP_COMMON_HOME%/share/hadoop/common/*,%HADOOP_COMMON_HOME%/share/hadoop/common/lib/*,%HADOOP_HDFS_HOME%/share/hadoop/hdfs/*,%HADOOP_HDFS_HOME%/share/hadoop/hdfs/lib/*,%HADOOP_MAPRED_HOME%/share/hadoop/mapreduce/*,%HADOOP_MAPRED_HOME%/share/hadoop/mapreduce/lib/*,%HADOOP_YARN_HOME%/share/hadoop/yarn/*,%HADOOP_YARN_HOME%/share/hadoop/yarn/lib/*</value>
  </property>
</configuration>

#

slaves:

master
slave
localhost

Теперь это должнобыть довольно близким к настройке, рекомендованной в ссылке, которую я разместил, но что-то не так, потому что я не могу запустить Hadoop и отобразить страницу localhost.Может кто-то видит, что чего-то не хватает?Я хотел бы, чтобы это работало рано или поздно!Спасибо!

Answer 1

Хорошо, так что я понял это.Вы должны следовать инструкциям, как описано в ссылке, которую я разместил.Кроме того, вам необходимо убедиться, что все зависимости Java обновлены.Загрузите и запустите следующие 2 исполняемых файла:

jre-8u201-windows-x64.exe
https://www.oracle.com/technetwork/java/javase/downloads/jre8-downloads-2133155.html
jdk-8u201-windows-x64.exe
https://www.oracle.com/technetwork/pt/java/javase/downloads/jdk8-downloads-2133151.html

Наконец, загрузите два файла (hadoop.dll & winutils.exe) и поместите их в следующую папку.

C:\Hadoop\bin\

Два файла можно найтипо ссылке ниже:

https://github.com/steveloughran/winutils/tree/master/hadoop-2.7.1/bin

Загрузите оба файла и поместите их в следующую папку: