ELK визуализация с журналом времени

Question

Я работаю в ELK и, помимо своих требований, я загружаю журналы своего приложения в elk из файла журнала, в котором записываются журналы моего приложения.

Мне нужно индексировать время в файле журнала как одно поле.(иногда мне нужно загрузить старый файл журнала, чтобы время анализа не использовалось для анализа)

Теперь мне нужно создать линейную диаграмму (визуализацию) с осью Y в качестве поля времени.

1 - Как настроить эти индексы в logstash

2 - Есть ли доступный плагин календаря для выбора диапазона дат конечным пользователем для получения визуальной визуализации диапазона дат.

Answer 1

Вы можете использовать Плагин вывода Influxdb или Плагин вывода statsd для logstash для этого.

С веб-сайта InfluxDB,

InfluxDBиспользуется в качестве хранилища данных для любого варианта использования, включающего большие объемы данных с метками времени, включая мониторинг DevOps, метрики приложений, данные датчиков IoT и аналитику в реальном времени.Экономьте место на своем компьютере, настроив InfluxDB для хранения данных в течение определенного периода времени, автоматически истекая и удаляя любые нежелательные данные из системы.InfluxDB также предлагает SQL-подобный язык запросов для взаимодействия с данными.

На странице плагина logstash Statsd

statsd - это сетевой демон для сбора статистики, такой как счетчикии таймеры, и доставка по UDP для внутренних сервисов, таких как Graphite или Datadog.Общая идея заключается в том, что вы отправляете метрики в statsd, и каждые несколько секунд он отправляет агрегированные значения бэкэнду.Примерами агрегатов являются суммы, средние и максимальные значения, их стандартное отклонение и т. Д. Этот плагин позволяет легко отправлять такие показатели на основе данных в событиях Logstash.