Использование стека AWS ELK для записи логов

Question

Я новичок в AWS и экспериментировал с некоторыми из его сервисов. Мне удалось создать приложение на Python, работающее внутри экземпляра EC2. Приложение создает файл журнала с данными анализа. Я хочу связать этот файл журнала со службой AWS Elasticsearch и Kibana, чтобы начать на нем аналитику. Может кто-нибудь указать мне, как лучше всего передавать журналы моего приложения EC2 в сервис AWSasticsearch.

Answer 1

У вас есть несколько вариантов решения этой проблемы. в случае AWS

• Установить Агент журнала наблюдения за облаком AWS
• Запустить агент журнала с файлом журнала
• Поток журнала наблюдения за облаком в lambda

• Ламда подтолкнет бревна к ELK

  

Но я пойду с приведенным ниже подходомпоскольку он не будет нуждаться в Lambda и log-group, и журналы будут отправляться непосредственно в ELK.

• Filebeat
• Logagent (pacakge на основе узла)

Filebeat является частью Elastic Stack, что означает, что он без проблем работает с Logstash, Elasticsearch и Kibana. Независимо от того, хотите ли вы преобразовать или обогатить свои журналы и файлы с помощью Logstash, поиграть с аналитикой в ​​Elasticsearch или создать и поделиться сводными панелями в Kibana, Filebeat позволяет легко отправлять ваши данные туда, где они наиболее важны. 1037 *

Все, что вам нужно для разделения файлов журнала приложений.

paths:
- /app/log/*.log
- /app/log/*/*.log

Logagent это современный, легкий грузоотправитель с открытым исходным кодом. Это как Filebeat и Logstash в одном, без памяти JVM>. Он поставляется с готовым и расширяемым синтаксическим анализом журналов,> буферизацией на диске, безопасным транспортом и массовой индексацией в> Elasticsearch, журналы Sematext и другие места назначения. Его низкая занимаемая память> занимаемая площадь и низкая загрузка ЦП делают его пригодным для развертывания на периферийных> узлах и устройствах, а его способность анализировать и структурировать журналы делает> его отличной альтернативой Logstash.

sudo npm i -g @sematext/logagent

отгрузка данных для aws -astic-поиска-с-журналом