Написание MapReduce и YARN приложения вместе - PullRequest
0 голосов
/ 04 октября 2018

Я хочу запустить приложение MapReduce, используя Hadoop 2.6.5 (в моем собственном родном кластере), и я хочу обновить некоторые вещи в YARN, таким образом, я увидел, что могу написать свое собственное приложение YARN (https://hadoop.apache.org/docs/r2.6.5/hadoop-yarn/hadoop-yarn-site/WritingYarnApplications.html). Нопохоже, что если я запускаю YARN таким образом (с клиентом YARN), то я не могу использовать парадигму MapReduce (функция Map и Reduce) с классом Job.

Есть ли возможность написать свойсобственный ApplicationManager и использование парадигмы MapReduce с простым классом Job?

Вот некоторые полезные примеры, которые я нашел в отношении написания YARN-приложения https://github.com/noitcudni/yarn https://github.com/hortonworks/simple-yarn-app https://github.com/blrunner/yarn-beginners-examples/blob/master/src/main/java/com/wikibooks/hadoop/yarn/examples/MyClient.java

* Использование Spring или Twill приведет к той же проблеме.

...