Где хранятся журналы приложений YARN в EMR перед отправкой на S3

Question

У меня есть требование записывать журналы приложений Yarn из EMR в другой источник, отличный от S3. Подскажите, пожалуйста, где хранятся журналы приложений в главном экземпляре EMR

Answer 1

Журналы пряжи находятся на /var/log/hadoop-yarn/, а журналы контейнера пряжи на /var/log/hadoop-yarn/container

Ссылки:

• https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-plan-debugging.html
• https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-manage-view-web-log-files.html

Answer 2

Если приложение отправляется в emr как шаг, то журналы будут находиться в:

/var/log/hadoop/steps/<<step-id>>/<<log-file>>

большинство журналов для emr можно найти в каталоге /var/logs в главном узле

Вы также можете использовать пряжу cli для получения журналов приложения и перенаправления возвращаемого потока журнала в файл, чтобы делать все, что вы хотите.

yarn logs -applicationId <<application_id>> > application_log_file.log