Как исправить INFO client.RMProxy: подключение к ResourceManager по адресу hadoop1 / 10.10.24.227: 8050 в Hadoop - PullRequest
Новая
       80

Как исправить INFO client.RMProxy: подключение к ResourceManager по адресу hadoop1 / 10.10.24.227: 8050 в Hadoop

0 голосов
/ 18 февраля 2019

Я настраиваю новую среду hadoop на сервере с 2-мя машинами.Когда я запускаю dfs и пряжу и запускаю jps, я начинаю все необходимое.но когда я запустил простой WordCount, он столкнулся с проблемой, которая является 

INFO client.RMProxy: Connecting to ResourceManager at hadoop1/10.10.24.227:8050
19/02/18 06:14:17 INFO ipc.Client: Retrying connect to server: hadoop1/10.10.24.227:8050. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)

, и когда я проверяю yarn-resourcemanager.log, я получаю 

2019-02-18 06:13:35,344 FATAL org.apache.hadoop.yarn.server.resourcemanager.ResourceManager: Error starting ResourceManager
java.lang.OutOfMemoryError: unable to create new native thread
    at java.lang.Thread.start0(Native Method)
    at java.lang.Thread.start(Thread.java:717)
    at org.apache.hadoop.ipc.Server.start(Server.java:2441)
    at org.apache.hadoop.yarn.server.resourcemanager.ClientRMService.serviceStart(ClientRMService.java:239)
    at org.apache.hadoop.service.AbstractService.start(AbstractService.java:193)
    at org.apache.hadoop.service.CompositeService.serviceStart(CompositeService.java:120)
    at org.apache.hadoop.yarn.server.resourcemanager.ResourceManager$RMActiveServices.serviceStart(ResourceManager.java:584)
    at org.apache.hadoop.service.AbstractService.start(AbstractService.java:193)
    at org.apache.hadoop.yarn.server.resourcemanager.ResourceManager.startActiveServices(ResourceManager.java:972)
    at org.apache.hadoop.yarn.server.resourcemanager.ResourceManager$1.run(ResourceManager.java:1013)
    at org.apache.hadoop.yarn.server.resourcemanager.ResourceManager$1.run(ResourceManager.java:1009)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:422)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1698)
    at org.apache.hadoop.yarn.server.resourcemanager.ResourceManager.transitionToActive(ResourceManager.java:1009)
    at org.apache.hadoop.yarn.server.resourcemanager.ResourceManager.serviceStart(ResourceManager.java:1049)
    at org.apache.hadoop.service.AbstractService.start(AbstractService.java:193)
    at org.apache.hadoop.yarn.server.resourcemanager.ResourceManager.main(ResourceManager.java:1186)

Я используюHadoop 2.7.3 с Java JDK 8, работающим на Ubuntu 16. с 4 ГБ ОЗУ, 10 ГБ дискового пространства и 1 ядром.я попытался изменить значение на yarn-site.xml & mapred-site.xml, но пока ничего не работает.

это мой hdfs-сайт 

<configuration>
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>file:/usr/local/hadoop/hadoopdata/hdfs/namenode</value>
        </property>
</configuration>

мой yarn-сайт.xml 

<configuration>
<!-- Site specific YARN configuration properties -->
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-service.mapreduce.shuffle.class</name>
                <value>org.apache.hadoop.mapred.ShuffleHandler</value>
        </property>
        <property>
                <name>yarn.resourcemanager.resource-tracker.address</name>
                <value>hadoop1:8025</value>
        </property>
        <property>
                <name>yarn.resourcemanager.scheduler.address</name>
                <value>hadoop1:8030</value>
        </property>
        <property>
                <name>yarn.resourcemanager.address</name>
                <value>hadoop1:8050</value>
        </property>
</configuration>

my mapred-site.xml 

<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.address</name>
                <value>hadoop1:10020</value>
        </property>
</configuration>

my core-site.xml 

<configuration>
        <property>
                <name>fs.default.name</name>
                <value>hdfs://hadoop1:9000</value>
        </property>
</configuration>

Я надеюсь, что смогу найти ответ на вопрос, почемуэто случилось.спасибо!

...