Сбой hadoop distcp из-за отсутствия каталога журнала пряжи

Question

Я пытаюсь запустить команду distcp в кластере EMR:

hadoop distcp s3a://... hdfs://host/data/...

Когда я запускаю это, выдается следующая ошибка:

Exit code: 1
Exception message: /bin/bash: /mnt/yarn/logs/application_1524773139099_0003/container_1524773139099_0003_02_000001/stdout: No such file or directory

Stack trace: ExitCodeException exitCode=1: /bin/bash: /mnt/yarn/logs/application_1524773139099_0003/container_1524773139099_0003_02_000001/stdout: No such file or directory

at org.apache.hadoop.util.Shell.runCommand(Shell.java:582)
at org.apache.hadoop.util.Shell.run(Shell.java:479)
at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:773)
at org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor.launchContainer(DefaultContainerExecutor.java:212)
at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:302)
at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:82)
at java.util.concurrent.FutureTask.run(FutureTask.java:266)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
at java.lang.Thread.run(Thread.java:748)

Я проверил все узлы в кластере, и у всех них есть каталог /mnt/yarn/logs, который я создал. Что здесь происходит?

Answer 1

Убедитесь, что пользователь, который запускает задание, имеет достаточные права для создания временных каталогов, таких как application _ ******* в пути / mnt / yarn / logs. предпочтительнее пользователь куста, а также извлекает журналы пряжи для application_1524773139099_0003 для просмотра ошибок, которые могут объяснить действительную ошибку.