Расположение Пряжи ApplicationMaster Log - PullRequest
Новая
       11

Расположение Пряжи ApplicationMaster Log

0 голосов
/ 05 сентября 2018

Я включил агрегирование журналов пряжи, используя Spark на Cloudera, но когда не удалось выполнить задание spark, я запускаю 

yarn logs -applicaitonId <id>

или 

yarn logs -applicationId <id> -am ALL

Все, что я получил, это рабочие журналы в stderr

Но в строке диагностики сбоя пряжи мне удалось увидеть 

Diagnostics:    User class threw exception: java.lang.reflect.InvocationTargetException

Сложность в том, что я нигде не могу найти это исключение, в том числе и местоположение папки журнала /var/log/hadoop-yarn на каждой машине.

Мне нужны детали этого исключения, чтобы я мог понять, какой Jar отсутствует или что именно не так с настройками среды искры.

Есть идеи, как мне найти это место в журнале? Я нашел несколько похожих вопросов с журналами ниже: 

17/08/16 02:28:06 ERROR yarn.ApplicationMaster: User class threw exception: java.lang.reflect.InvocationTargetException

java.lang.reflect.InvocationTargetException

            at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)

            at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)

            at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)

            at java.lang.reflect.Constructor.newInstance(Constructor.java:423)

Поэтому я пытался найти местоположение журнала ApplicationMaster, и, возможно, это отличается от того, что мы обычно делаем в журналах контейнеров.

...