Logsta sh журналы для графана без Elasticsearch - PullRequest
1 голос
/ 05 марта 2020

Здравствуйте, у меня есть filebeat, который собирает журналы и связан с logsta sh.

Моя идея - показать журналы из logsta sh в Grafana.

Есть ли возможность отправить logsta sh журналы непосредственно на prometheus или grafana?

В моем решении я не хочу использовать эластичный поиск. Я нашел какой-то экспортер logsta sh, но это для статуса logsta sh, а не для журналов.

Ответы [ 2 ]

0 голосов
/ 06 марта 2020

Графана сама по себе не хранит никаких данных (кроме пользователей / панелей мониторинга и т. Д. c.). Хранить необработанные журналы в Prometheus не рекомендуется. Прометей плохо обрабатывает метки с высокой кардинальностью, и каждая отдельная строка журнала генерирует новое значение для метки. И это при условии, что вы преобразуете свою строку журнала в набор меток и отправляете это Прометею (опять же, не делайте этого).

При этом, возможно, вы захотите попробовать Локи . Это новая система ~ i sh, которая (как описано ее авторами) "Как Прометей, но для ваших журналов". Они даже поддерживают язык запросов LogQL, который является подмножеством PromQL, и вы даже можете извлекать метрики из журналов, сохраняя строку журнала. Проглатывание обычно происходит через Promtail, но у Loki есть конечная точка HTTP, которую можно использовать для извлечения логов.

Модель данных из Loki очень похожа: набор меток, метка времени и логлайн. Grafana поставляется с готовой поддержкой Loki, и она улучшается с каждым выпуском.

0 голосов
/ 05 марта 2020

Grafana - это инструмент визуализации, который считывает данные из источника данных, вам нужно будет хранить свои журналы в одном из поддерживаемых источников данных, prometheus и elasticsearch - это только два из поддерживаемых источников данных.

Чтобы отправить ваши логи из Logsta sh в Prometheus, вам понадобится выходной плагин, но официального плагина для него нет, похоже, существует сторонний плагин , но он в настоящее время находится в бета-версии и, возможно, он по-прежнему не имеет всех функций, которые вы хотите.

...