Как я могу внедрить решение централизованного ведения журналов в AWS?

Question

Требуется экспертное мнение о централизованном ведении журналов для мониторинга, хранения, управления и визуализации журналов о нашей инфраструктуре.У нас есть требование для создания централизованной структуры ведения журналов в нашем проекте;подвох в том, что у нас есть проекты, написанные на разных языках, таких как Java, Angular, Scala и Python.

Специально разработанное решение приведет к дополнительным задачам, затратам и зависимостям, связанным с управлением и обслуживанием его компонентов, поэтому мы думаем о предложениях AWS Partner Network (APN), которые были бы лучшими из предлагаемых услуг.Splunk, Sumo Logic, Datadog, Elastic и Loggly ???

Любое руководство будет с благодарностью.

С уважением, Сундар

Answer 1

Стек ELK (ElasticSearch, Logstash, Kibana) - действительно хорошее решение для того, что вы ищете, но в некоторых случаях ELK не сможет получить некоторые метрики, в этом случае у вас есть некоторые решения, такие как создание вашегособственная beat программа для получения информации или использование другой программы для сбора таких показателей, как Apache NiFi.

Answer 2

Вы можете использовать AWS CloudWatch, создать поток журналов для каждого вашего приложения или услуги.Определите свои собственные метрики, создайте панель мониторинга и оповещения.

Это не ограничивается вещами AWS;вы можете использовать агент журнала CloudWatch для локальных служб или программного обеспечения в вашей локальной сети.

Для получения дополнительной информации прочитайте следующую статью Джеффа Барра

https://aws.amazon.com/blogs/aws/cloudwatch-log-service/

и

https://aws.amazon.com/blogs/aws/improvements-to-cloudwatch-logs-dashboards/

К вашему сведению: мы уже отслеживаем множество приложений и сервисов внутри и снаружи AWS с помощью CloudWatch, и это работает как чудо.

Answer 3

Я использовал многие из упомянутых вами решений.Splunk хорош, но он становится действительно дорогим, если у вас есть огромное количество данных.Вы могли бы всегда использовать Журналы Cloudwatch, но это не дает вам так много визуальной части.

Я порекомендую стек ELK (ElasticSearch, Logstash, Kibana).Это очень стандартное решение;в котором журналы хранятся в Elastic Search.Кибана используется для визуализации бревен.Это работает практически в режиме реального времени.

Если у вас есть очень специфические панели мониторинга;тогда вы всегда можете создавать собственные панели мониторинга, используя некоторые передовые технологии, такие как AngularJS и т. д., но если визуальная часть действительно огромная и очень гибкая, то мне кажется, ELK лучше.