Параметры агрегирования журнала My Yarn установлены следующим образом в кластере CDH 5.X
yarn.log-aggregation-enable => True
yarn.nodemanager.remote-app-log-dir => True
В кластере Had oop я выполняю разные виды заданий, две проблемы, с которыми я столкнулся:
- Приведенная ниже команда показывает список приложений, которые были выполнены сегодня, аналогичное поведение показано в http://XYX.com: 8088 / cluster / apps
yarn application -list -appStates ALL
Хотя существует множество заданий Had oop, которые ранее выполнялись в кластере, но не отображаются с помощью yarn application -list -appStates ALL или пользовательского интерфейса Resource Manager
- Я не может получить доступ к журналам заданий с помощью команды cli
yarn logs -applicationId application_1596309510673_0003
И выдает следующую ошибку:
/tmp/logs/root/logs/application_1596309510673_0003 does not exist.
Log aggregation has not completed or is not enabled.
Но если я также добавлю параметр appOwner, тогда команда работает.
yarn logs -applicationId application_1596309510673_0003 --appOwner hive
Параметр "appOwner" не является обязательным параметром в команде yarn logs, поэтому я не уверен, почему он так себя ведет.
Любая помощь по вопросу 1 или 2. Было бы очень заметно.
Примечание: у меня также есть HDP cl uster, где обе вышеупомянутые проблемы не возникают, не уверен, является ли это поведение кластера CDH по умолчанию, и если да, то какие параметры для отключения такого поведения