Я использую hadoop на своем ноутбуке с Windows 10, но я нашел несколько руководств по его запуску и запуску базовой программы подсчета слов. Установка hadoop выглядит нормально, так как я вижу приборную панель при переходе на http://localhost:8088/cluster/apps/NEW, что, я думаю, означает, что «кластер» запущен и работает.
Для справки, я делаю это только для того, чтобы изучить его сейчас, поэтому я использую свой ноутбук и Windows 10. Руководство, которому я следую, здесь:
https://github.com/MuhammadBilalYar/Hadoop-On-Window/wiki/How-to-Run-Hadoop-wordcount-MapReduce-Example-on-Windows-10
Это работало некоторое время, пока мне фактически не пришлось отправлять работу, она переходит в ResourceManager, я вижу ее на панели инструментов, но затем выдает ошибку с очень неспецифической ошибкой:
Application application_1525309913796_0001 failed 2 times due to AM Container for appattempt_1525309913796_0001_000002 exited with exitCode: 1
Failing this attempt.Diagnostics: Exception from container-launch.
Container id: container_1525309913796_0001_02_000001
Exit code: 1
Stack trace: ExitCodeException exitCode=1:
at org.apache.hadoop.util.Shell.runCommand(Shell.java:972)
at org.apache.hadoop.util.Shell.run(Shell.java:869)
at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:1170)
at org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor.launchContainer(DefaultContainerExecutor.java:236)
at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:305)
at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:84)
at java.util.concurrent.FutureTask.run(FutureTask.java:266)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
at java.lang.Thread.run(Thread.java:745)
Shell output: 1 file(s) moved.
Container exited with a non-zero exit code 1
For more detailed output, check the application tracking page: http://BertieCoding:8088/cluster/app/application_1525309913796_0001 Then click on links to logs of each attempt.
. Failing the application.
Перед запуском задания я выполнил следующие команды в соответствии с инструкциями:
hadoop fs -mkdir /input_dir
hadoop fs -put C:/input_file.txt /input_dir
hadoop fs -ls /input_dir/
hadoop jar C:/MapReduceClient.jar wordcount /input_dir /output_dir
К сожалению, когда я смотрю в каталог журналов моей установки hadoop, в ней есть папки / файлы, но в файлах нет ничего, что также кажется неправильным.
Кто-нибудь видел это раньше и знает, как это исправить?
О, я использую HDFS в качестве базовой структуры, если это не было очевидно. Я также могу опубликовать исходный код программы, но кажется, что она не работает до того, как она запустится.