В чем будут преимущества использования ELK для управления журналами по сравнению с простой комбинацией python журналов + существующей таблицы журналов базы данных?

Question

Предполагая, что у меня есть много процессов Python, запущенных на сервере автоматизации, таком как Jenkins, допустим, я хочу использовать собственный модуль ведения журнала Python и, кроме записи в консоль Jenkins или в файл журнала, я хочу где-то хранить и централизовать журналы.

Я подумал об использовании ELK для этого, но потом понял, что с таким же успехом могу создать отдельную таблицу журналов в существующей базе данных (я использую Redshift), используйте что-то вроде Grafana для панелей мониторинга / визуализации журналов и избавьте себя от проблем с развертыванием новой системы (большинство людей в моей команде знакомы с Redshift, но не с ElasticSearch).

Хотя это звучит просто, я чувствую, что не смотрю на общую картину и что мне не хватает некоторых мощных возможностей, которые такие компоненты, как Logsta sh, были написаны в первую очередь. Что это за возможности и как было бы выгодно использовать ELK вместо моего решения?

Спасибо!

Answer 1

Я реализовал полный стек ELK в своей компании в прошлом году.

Проект был огромным, и на его правильную реализацию потребовалось много времени. Преимущества использования ELK и отказа от реализации нашего собственного централизованного решения для ведения журнала:

1. Отсутствие необходимости заново изобретать колесо - уже существует продукт, который делает именно это. (и часть установки чрезвычайно проста)
2. Он прошел боевые испытания и может выдержать огромное количество журналов за короткое время.
3. По мере роста вашего бизнеса и продукта вам необходимо будет анализировать больше журналов с другой структурой, что будет означать изменения БД в самодельной системе. logsta sh предоставит вам безграничные возможности фильтрации и анализа этих новых форматированных журналов.
4. Он имеет возможности кластера и высокой доступности, и вы можете масштабировать свою систему журналов по вертикали и горизонтали.
5. Очень легко поддерживать и изменять с течением времени.
6. Он может отправлять необходимые выходные данные в различные продукты, включая Zabbix, Grafana, elasticsearch и многие другие.
7. Kibana будет дают вам возможность просматривать журналы, строить графики и информационные панели, предупреждения и многое другое ...

Возможности ELK действительно безграничны, и чем больше я с ним работаю, тем больше я нахожу новых способов может мне помочь. не только из просмотра журналов в распределенных удаленных серверных системах, но и из предупреждений системы безопасности, графиков SLA и многих других аналитических данных.