Использование стека AWS ELK для записи логов - PullRequest
Новая
       21

Использование стека AWS ELK для записи логов

0 голосов
/ 05 октября 2019

Я новичок в AWS и экспериментировал с некоторыми из его сервисов. Мне удалось создать приложение на Python, работающее внутри экземпляра EC2. Приложение создает файл журнала с данными анализа. Я хочу связать этот файл журнала со службой AWS Elasticsearch и Kibana, чтобы начать на нем аналитику. Может кто-нибудь указать мне, как лучше всего передавать журналы моего приложения EC2 в сервис AWSasticsearch.

1 Ответ

0 голосов
/ 05 октября 2019

У вас есть несколько вариантов решения этой проблемы. в случае AWS

Но я пойду с приведенным ниже подходомпоскольку он не будет нуждаться в Lambda и log-group, и журналы будут отправляться непосредственно в ELK.

  • Filebeat
  • Logagent (pacakge на основе узла)

Filebeat является частью Elastic Stack, что означает, что он без проблем работает с Logstash, Elasticsearch и Kibana. Независимо от того, хотите ли вы преобразовать или обогатить свои журналы и файлы с помощью Logstash, поиграть с аналитикой в ​​Elasticsearch или создать и поделиться сводными панелями в Kibana, Filebeat позволяет легко отправлять ваши данные туда, где они наиболее важны. 1037 *enter image description here

Все, что вам нужно для разделения файлов журнала приложений. 

paths:
- /app/log/*.log
- /app/log/*/*.log

Logagent это современный, легкий грузоотправитель с открытым исходным кодом. Это как Filebeat и Logstash в одном, без памяти JVM>. Он поставляется с готовым и расширяемым синтаксическим анализом журналов,> буферизацией на диске, безопасным транспортом и массовой индексацией в> Elasticsearch, журналы Sematext и другие места назначения. Его низкая занимаемая память> занимаемая площадь и низкая загрузка ЦП делают его пригодным для развертывания на периферийных> узлах и устройствах, а его способность анализировать и структурировать журналы делает> его отличной альтернативой Logstash. 

sudo npm i -g @sematext/logagent

enter image description here отгрузка данных для aws -astic-поиска-с-журналом

...