У меня есть сторонний образ, развернутый в EKS, и он записывает множество журналов в разные файлы. Теперь мне нужно извлечь sh журналы из разных файлов, сгенерированных продуктом в ES и просмотренных через Kibana
. Я использую контейнер с коляской с изображением filebeat, чтобы он мог собирать журналы, и pu sh. Elasti c Поиск. В EKS был настроен набор демонов fluentd, поэтому, если вы поместите его в консоль, журналы будут отправлены в ES.
Я спроектировал конвейер, как показано ниже - Файлы журнала -> FileBeat -> Вывод на консоль -> FLuentD -> ElasticSearch -> Kibana
Работает, и мы получаем события в Kibana.
Но мне нужно изменить конфигурацию filebeat для достижения следующих пунктов -
В конфигурации Filebeat, которую я использовал * .log, поэтому мне нужно либо добавить пользовательский тег (может быть с именем файла), чтобы мы могли легко идентифицировать событие. Если мы добавим пользовательский тег и, поскольку filebeat выводит на консоль, этот тег будет распространен на ES. Обратите внимание, что FluentD и ES являются корпоративной установкой, и мы не можем ее изменить.
- Удалите файл журнала биений / журналов харвестера из ES