Где хранятся журналы приложений YARN в EMR перед отправкой на S3 - PullRequest
0 голосов
/ 23 октября 2018

У меня есть требование записывать журналы приложений Yarn из EMR в другой источник, отличный от S3. Подскажите, пожалуйста, где хранятся журналы приложений в главном экземпляре EMR

Ответы [ 2 ]

0 голосов
/ 23 октября 2018

Журналы пряжи находятся на /var/log/hadoop-yarn/, а журналы контейнера пряжи на /var/log/hadoop-yarn/container

Ссылки:

0 голосов
/ 23 октября 2018

Если приложение отправляется в emr как шаг, то журналы будут находиться в:

/var/log/hadoop/steps/<<step-id>>/<<log-file>>

большинство журналов для emr можно найти в каталоге /var/logs в главном узле

Вы также можете использовать пряжу cli для получения журналов приложения и перенаправления возвращаемого потока журнала в файл, чтобы делать все, что вы хотите.

yarn logs -applicationId <<application_id>> > application_log_file.log 
...