Игнорировать старые файлы и загружать только последние файлы журнала с S3, используя logstash

Question

как игнорировать старые файлы и загружать только последние файлы журнала из S3, используя logstash. Мы используем logstash для перемещения журналов cloudtaril с s3 наasticsearch. Журналы Cloudtrail имеют следующий формат:

/AWSLogs/CloudTrail/xxxAccount Numberxxxx/aws-region/year(YYYY)/Month(MM)/day(DD)/

Мне нужно извлекать только самые последние данные (например, данные за текущий месяц), так как весь бак содержит огромные терабайты данных, а logstash не можетмасштабировать столько данных. Есть ли способ сделать это?

Answer 1

Вы можете переместить журналы в другую папку после их обработки. Это не позволит вам обработать их во второй раз, а также сделает обработку намного быстрее (мы обнаружили, что s3 / logstash чрезвычайно медленно работает с большими папками).

См. Параметр backup_to_bucket .