У нас есть требование, в котором мы хотим создать несколько файлов журнала для задания MapReduce на основе некоторых событий, например.event1.log для события1, event2.log для события2 и т. Д. После завершения задания, когда мы проверяем агрегированный журнал на application_id, журналы для всех событий подпадают под LogType:syslog.Поскольку системный журнал может быть огромным, найти конкретное событие будет непросто.Одна альтернатива - использовать какой-либо инструмент анализа журналов, но мы не хотим тратить время на настройку такого инструмента, если есть более простой способ.
Мне было просто интересно, можем ли мы добавить пользовательский log_file_type для разныхСобытия.Если это возможно, мы можем легко получить журналы, связанные с конкретным log_file_type, используя команду
yarn logs -applicationId <Application ID> -log_files <log_file_type>
Если нет, есть ли другая альтернатива?