Сбой задания MapReduce с ExitCodeException exitCode = 1 - PullRequest
Новая
       6

Сбой задания MapReduce с ExitCodeException exitCode = 1

0 голосов
/ 25 февраля 2019

Я столкнулся с этой проблемой, выполняя задание mapreduce: 

19/02/25 03:06:41 INFO mapreduce.Job: Job job_1551092767354_0001 failed with state FAILED due to: Application application_1551092767354_0001 failed 2 times due to AM Container for appattempt_1551092767354_0001_000002 exited with  exitCode: 1
For more detailed output, check application tracking page:http://quickstart.cloudera:8088/proxy/application_1551092767354_0001/Then, click on links to logs of each attempt.
Diagnostics: Exception from container-launch.
Container id: container_1551092767354_0001_02_000001
Exit code: 1
Stack trace: ExitCodeException exitCode=1: 
    at org.apache.hadoop.util.Shell.runCommand(Shell.java:538)
    at org.apache.hadoop.util.Shell.run(Shell.java:455)
    at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:715)
    at org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor.launchContainer(DefaultContainerExecutor.java:211)
    at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:302)
    at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:82)
    at java.util.concurrent.FutureTask.run(FutureTask.java:262)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
    at java.lang.Thread.run(Thread.java:745)

Я пытался вручную добавить путь к классу пряжи в файл yarn-site.xml, но он не работал.у кого-нибудь есть решение?Спасибо.

Редактировать: Это журнал ошибок, но я не уверен, что это значит:

ОШИБКА [main] org.apache.hadoop.mapreduce.jobhistory.JobHistoryEventHandler: Не удалось проверить наличие каталога промежуточных завершенных историй: [hdfs: //quickstart.cloudera: 8020 / user / history / done_intermediate] 2019-02-25 03: 06: 36,034 INFO [main] org.apache.hadoop.service.AbstractService: Сбой службы JobHistoryEventHandler в состоянии INITED;причина: org.apache.hadoop.yarn.exceptions.YarnRuntimeException: org.apache.hadoop.security.AccessControlException: отказано в разрешении: user = cloudera, access = WRITE, inode = "/ user / history": mapred: hadoop: drwxr-xr-x в org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.checkFsPermission (DefaultAuthorizationProvider.java:257) в org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.check: DefaultAuthorj:org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.check (DefaultAuthorizationProvider.java:216) в org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.checkPermission (DefaultAuthorizationProvide.gare.jg: at.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission (FSPermissionChecker.java:138) в org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkPermission (FSNamesystem.java:6596) в org.apache.hadooph.server.namenode.FSNamesystem.checkPermission (FSNamesystem.java:6578) в орг.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkAncestorAccess (FSNamesystem.java:6530) в org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirsInternal (FSNamesystem.java:4334) в org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirsInt (FSNamesystem.java:4304) в org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirs (FSNamesystem.java:4277) в org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.mkdirs (NameNodeRpcServer.java:852) в org.apache.hadoop.hdfs.server.namenode.AuthorizationProviderProxyClientProtocol.mkdirs (AuthorizationProviderProxyClientProtocol.java:32p.ShBerSPHT.PHPST.PHPS.PHS.PHS.PHS.S_S_D_S_D_S_P_S_S_S_S_S_S_S_S_S_S_S_S_S_S_S_D_D_W_S_S_D_S_S_D_P_S_S_D_P_S_S_S_D_P_S)ClientNamenodeProtocolServerSideTranslatorPB.java:601) по адресу org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos $ ClientNamenodeProtocol $ 2.callBlockingMethod (ClientNamenodeProtocolProtos.java $ $.: 619) в орг.аpache.hadoop.ipc.RPC $ Server.call (RPC.java:1060) в org.apache.hadoop.ipc.Server $ Обработчик $ 1.run (Server.java:2044) в org.apache.hadoop.ipc.Server$ Handler $ 1.run (Server.java:2040) в java.security.AccessController.doPrivileged (собственный метод) в javax.security.auth.Subject.doAs (Subject.java:415) в org.apache.hadoop.security.UserGroupInformation.doAs (UserGroupInformation.java:1671) в org.apache.hadoop.ipc.Server $ Handler.run (Server.java:2038)

...