Hadoop 3.1.2: диспетчер узлов выдает исключение -> не удалось инициализировать mapreduce_shuffle - PullRequest
Новая
       67

Hadoop 3.1.2: диспетчер узлов выдает исключение -> не удалось инициализировать mapreduce_shuffle

0 голосов
/ 07 октября 2019

Я пытаюсь запустить Hadoop с помощью команды start-all.sh. Когда я делаю jps, NodeManager не отображается в списке. Я проверил файл журнала для Node Manager и обнаружил исключение. Ниже приведено исключение, 

 ERROR org.apache.hadoop.yarn.server.nodemanager.containermanager.AuxServices: Failed to   initialize mapreduce_shuffle>
java.lang.IllegalArgumentException: The ServiceName: mapreduce_shuffle> set in  yarn.nodemanager.aux-services is invalid.The valid service name should only contain a-zA-Z0-9_ and can not start with numbers
at com.google.common.base.Preconditions.checkArgument(Preconditions.java:88)
at org.apache.hadoop.yarn.server.nodemanager.containermanager.AuxServices.serviceInit(AuxServices.java:146)
at org.apache.hadoop.service.AbstractService.init(AbstractService.java:164)
at org.apache.hadoop.service.CompositeService.serviceInit(CompositeService.java:108)
at org.apache.hadoop.yarn.server.nodemanager.containermanager.ContainerManagerImpl.serviceInit(ContainerManagerImpl.java:318)
at org.apache.hadoop.service.AbstractService.init(AbstractService.java:164)
at org.apache.hadoop.service.CompositeService.serviceInit(CompositeService.java:108)
at org.apache.hadoop.yarn.server.nodemanager.NodeManager.serviceInit(NodeManager.java:477)
at org.apache.hadoop.service.AbstractService.init(AbstractService.java:164)
at org.apache.hadoop.yarn.server.nodemanager.NodeManager.initAndStartNodeManager(NodeManager.java:933)
at org.apache.hadoop.yarn.server.nodemanager.NodeManager.main(NodeManager.java:1013)

В основном, это жалоба на то, что имя службы mapreduce_shuffle недопустимо. Я следовал инструкциям по настройке yarn-site.xml из здесь . Ниже моя конфигурация yarn-site.xml. 

<configuration>

<!-- Site specific YARN configuration properties -->
    <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle></value>
    </property>
    <property>
           <name>yarn.nodemanager.env-whitelist</name>
           <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_HOME</value>
    </property>
</configuration>
...