Мне нужна помощь для запуска приложения Wordcount в Hadoop.Я работаю на кластерах с несколькими узлами, я хочу запустить его на своем главном (главном) узле.
Я делаю папку для ввода и копирую .txt в эту папку, она прекрасно работает. 1 , 2
Теперь мне нужно запустить mapreduce, который выполняется с помощью eclipse.Запуск с:
hadoop jar WordCount.jar WordCount /input /output
Когда я запускаю его, я получаю:
/input
/output
18/12/30 19:50:13 INFO client.RMProxy: Connecting to ResourceManager at
/0.0.0.0:8032
18/12/30 19:50:13 WARN mapreduce.JobResourceUploader: Hadoop command-line
option parsing not performed. Implement the Tool interface and execute your
application with ToolRunner to remedy this.
18/12/30 19:50:14 INFO input.FileInputFormat: Total input files to process
: 1
18/12/30 19:50:14 INFO mapreduce.JobSubmitter: number of splits:1
18/12/30 19:50:14 INFO Configuration.deprecation:
yarn.resourcemanager.system-metrics-publisher.enabled is deprecated.
Instead, use yarn.system-metrics-publisher.enabled
18/12/30 19:50:14 INFO mapreduce.JobSubmitter: Submitting tokens for job:
job_1546180801267_1648
18/12/30 19:50:15 INFO impl.YarnClientImpl: Submitted application
application_1546180801267_1648
18/12/30 19:50:15 INFO mapreduce.Job: The url to track the job: http://ec2-
3-82-16-179.compute-
1.amazonaws.com:8088/proxy/application_1546180801267_1648/
18/12/30 19:50:15 INFO mapreduce.Job: Running job: job_1546180801267_1648
Я слушаю много уроков, в каждом уроке они делают что-то и получают одинаковую информацию, нопосле этой карты и уменьшения запуска, в моей ситуации он не запускается.
Вот мой .profile 3 :
Вот yarn-site.xml 4 :
Mapred-site.xml 5 :
hdfs-site.xml 6 :
core-site.xml 7 , 8 :
Пожалуйста, помогите мне с этим, я пытаюсь решить это в течение двух дней, но без какого-либо хорошего результата.
Спасибо!