В случае oop я хотел бы регистрировать скорость выполнения всех заданий задания каждый интервал времени, используя внутреннюю систему ведения журнала Hadd oop. В отличие от Had oop MRv1 (с использованием JobTracker и TaskTracker), в Had oop MRv2 + эта функция является частью ResourceManager (RM), NodeManager (NM) и ApplicationMaster (AM). Из того, что я понимаю, часть мониторинга задач выполняется AM каждого задания. Именно здесь должна располагаться информация о уровне прогресса .
Этот вопрос может показаться похожим на этот вопрос, который я задавал ранее , но он не такой, как здесь, я не Не хочу редактировать / перекомпилировать Если бы oop, а вместо этого предоставить конфигурацию для AM для создания журналов, которые я желаю. Есть ли способ настроить AM для записи скорости выполнения каждой задачи каждые x секунд? Я не против получить все показатели прогресса во время выполнения с несколькими вызовами API или собрать все вместе в файле журнала после завершения задания. Я считаю, что такая конфигурация должна быть частью yarn-site.xml.
Я использую Если бы oop 3.2.0.
Любая помощь будет с благодарностью.