Можно ли автоматически экспортировать журналы из экземпляра EC2 в корзину S3?

Question

Я хотел бы, чтобы журналы были сохранены в корзину S3, как только они будут сгенерированы.

Из того, что я прочитал, кажется, что экспорт в S3 из EC2 через Cloudwatch доступен, но после его проверки экспорт, по-видимому, фиксируется с датой "от" ина сегодняшний день.

Существуют ли другие способы сохранения моих журналов в корзине S3?

Answer 1

Вы можете рассмотреть возможность использования любых сторонних инструментов пересылки журналов, таких как Fluentd или Filebeat + Logstash.

Logstash / Fluentd может отслеживать ваши существующие файлы журналов и передавать конечную точку S3, настроенную в режиме реального времени.

https://www.elastic.co/guide/en/logstash/current/plugins-outputs-s3.html

https://docs.fluentd.org/v0.12/articles/out_s3

Answer 2

Вы можете создать роль с правами на запись в определенный сегмент, а затем назначить эту роль экземпляру EC2.Затем вы сможете экспортировать журналы из экземпляра ec2 напрямую в S3 с помощью API s3.Вы можете написать скрипт оболочки, экспортирующий логи, и запускать его как задание cron.