Контейнер вышел с ненулевым кодом выхода 1 во время wordcount

Question

Когда я выполняю программу wordcount в hadoop-mapreduce-examples, используя приведенную ниже команду

hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.5.jar wordcount /wordcount/input/test_input.txt /wordcount/output

Это вызывает следующее исключение

Exception from container-launch.
Countainer id: countainer_1540539176003_003_01_000002
Exit code: 1
Stack trace: ExitCodeException exitCode 1;
        at org.apache.hadoop.util.Sgell.runCommand(Shell.java:972)     
        at org.apache.hadoop.util.Sgell.run(Shell.java:869)
        at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.javaL1170)
        at org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor.launchContainer(DefaultContainerExcutor.java:235)
        at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:299)
        at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:83)
        at java.util.concurrent.FutureTask.run(FutureTask.java:262)
        at java.util.concurreunt.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1152)
        at java.util.concurreunt.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:622)
        at java.lang.Thread.run(Thread.java:748)

Container exited with a non-zero exit code 1

Как это исправить?

ИзвинитеЯ новичок здесь.

Означает ли это, что есть некоторые проблемы с памятью?

Answer 1

Вам нужно начать с получения правильных логов.

Посмотрите на url to track the job адрес для адреса YARN.

Если этот адрес недоступен, вы можете скопировать полный идентификатор приложения в команду logs

yarn logs -applicationId application_1540...

Оттуда вы можете искать трассировку стека, сгенерированную кодом.

---

Если вы только что настроили Hadoop, я бы предположил, что hdfs dfs -ls /wordcount_input/ выдает некоторую ошибку о несуществовании или об отказе в разрешении