Мы хотели бы обработать журналы доступа AWS ELB и записать их в InfluxDB, чтобы использовать их для метрик приложений и мониторинга (например, Grafana).
Мы настроили ELB для хранения журналов доступа в корзину S3.
Как лучше всего обработать эти журналы и записать их в InfluxDB?
До сих пор мы пытались подключить корзину S3 к файловой системе, используя s3fs, а затем использовать агент Telegraf для обработки.Но у этого подхода есть некоторые проблемы: монтирование s3fs выглядит как хак, и все файлы в корзине сжаты и должны быть разархивированы, прежде чем telegraf сможет их обработать, что усложняет задачу.
Есть ли лучший способ?
Спасибо, Александр