Визуализация статических файлов журнала на Kibana

Question

У меня есть пара журналов Apache Server, которые я хочу проанализировать в Kibana для визуализации. В данный момент я попытался настроить Elasticsearch + Kibana + Filebeat для загрузки этих журналов сервера. Тем не менее, Filebeat, похоже, требует много ресурсов процессора.

Эти журналы являются статическими, то есть старые журналы, которые я собрал. Поэтому мне не нужны возможности активного мониторинга Filebeat. В этом случае, есть ли какие-либо другие альтернативные способы импорта журналов Apache Server в Kibana только один раз?

Кроме того, как примечание, в чем различия между filebeat и logstash? Я прочитал, что logstash может анализировать больше информации из журналов, таких как географическое местоположение. Тем не менее, при тестировании моего метода, кажется, что apache-модуль filebeat способен на это.

Answer 1

Filebeat будет отслеживать журналы в данном каталоге на предмет изменений.Вы можете контролировать это, перемещая обработанные файлы в каталог без присмотра или устанавливая параметр ignore_older .Также обратите внимание на параметры, которые начинаются с close_, чтобы получить дополнительную оптимизацию в этой области.

Filebeat - это более легкий локальный агент, который может выполнять некоторую обработку и отправлять журналы в logstash или эластичный поиск.Некоторая локальная обработка (например, многострочная и игнорирование) очень мощная.

Logstash также может использоваться в качестве отправителя, но обычно он используется для преобразования неструктурированных журналов в структурированные данные для вставки в эластичный поиск.Варианты обработки в основном не ограничены благодаря использованию встроенных фильтров , и вы можете перейти в ruby, чтобы сделать действительно нестандартные вещи.