В чем разница между службой временной шкалы пряжи и сервером истории MR2

Question

В hadoop2 есть сервис временной шкалы, используемый для пряжи, а также сервер истории MRV2, так в чем же разница между ними?Какова основная цель автономного сервиса временной шкалы?

Answer 1

Поскольку Hadoop перешел от MapReduce к другим механизмам выполнения (Spark, Tez, Flink), сервер истории заданий, который был разработан с учетом MapReduce, больше не работал.Сервер истории заданий также предоставляет статистику только о выполненных заданиях и имеет / имеет проблемы с масштабируемостью.Сервер временной шкалы приложений (ATS) решил эти проблемы и представил концепцию flow, которая представляет собой серию заданий, которые рассматриваются как один объект, а не как набор заданий (MapReduce).

Во всяком случае, это было первоначальное намерение.Вы можете прочитать больше в официальных документах, и JIRA имеют несколько проектных документов.

Ссылки

• Сервер временной шкалы YARN
• Служба временной шкалы YARN v.2
• YARN-5355: Служба временной шкалы YARN v.2: alpha 2
• YARN-2928:Служба временной шкалы YARN v.2: альфа-версия 1
• YARN-1530: [Umbrella] Хранение, управление и обслуживание данных временной шкалы для отдельных приложений Это включает в себя оригинальный дизайн временной шкалы приложенияпредложение.