Пропустить чтение исторических данных при разборе журналов - PullRequest
0 голосов
/ 03 октября 2018

Я читаю свои журналы из корзины s3, корзина содержит данные за январь, когда я запускаю свою конфигурацию, logstash читает все исторические данные, но я хочу читать только сегодняшние данные, как это сделать, чтодолжна быть конфигурация ??

Ниже моя конфигурация

input {
s3{
     access_key_id => "*****************"             
     secret_access_key => "*******************" 
     region => "us-west-1"                   
     bucket => "abc-logs"                  
     codec => "plain"
     type => "access_logs"
}
}
output {
if "_grokparsefailure" not in [tags]
  {
        elasticsearch {
        hosts => "localhost:9200"
        index => "abc"
}
}
  stdout { codec => rubydebug }
}

что я могу сделать, чтобы избежать чтения исторических данных

...