Как предотвратить отправку Logstash нескольких файлов журналов в Elastic? - PullRequest
Новая
       56

Как предотвратить отправку Logstash нескольких файлов журналов в Elastic?

0 голосов
/ 20 декабря 2018

Я использую следующий 6.x стек:

Filebeat -> Logstash -> Elastic -> Kibana

Я пытаюсь настроить filebeat / logstash для отправки определенного файла журнала только вЭластичный.Сейчас кажется, что он отправляет все.

Когда я смотрю в Кибане, я вижу большинство сообщений из /var/log/messages.

Filebeat config: 

filebeat.inputs:

- type: log

  enabled: true

  paths:
    #- /var/log/*.log
    - /var/log/nginx/app.access.log
    #- c:\programdata\elasticsearch\logs\*

output.logstash:
  hosts: ["localhost:5044"]
  index: logstash

Logstash Config: 

input {
    beats {
        port => "5044"
    }
}

filter {
     grok {
        match => {"message" => '%{IP:client} - %{USERNAME:username} \[%{HTTPDATE:timestamp}\] \"(?:%{WORD:verb} %{NOTSPACE:request}(?: HTTP/%{NUMBER:httpversion})?|%{DATA:rawrequest})\" %{NUMBER:response} (?:%{NUMBER:bytes}|-) %{QS:referrer} %{QS:agent} %{DATA: http_x_forwarded_for} %{DATA:gzip_ratio} rt=%{NUMBER:request_time} uct=%{NUMBER:upstream_connect_time} uht=%{NUMBER:upstream_header_time} urt=%{NUMBER:upstream_response_time} %{NUMBER:user_id}'}
    }
    grok {
        match => {"request" => "\/dataset\/%{NUMBER:dataset_id}"}
    }
    kv {
        source => "request"
        field_split => "&?"
        transform_key => "lowercase"
    }
    if "/search" in [request] and [q] {
        mutate {add_field => {"search_action" => "search" }}
    }
    if [request] =~ "\/dataset\/%{NUMBER:dataset_id}" {
        mutate {add_field => {"dataset_id" => dataset_id}}
    }
    mutate {
       convert => {
           "user_id" => "integer"
           "dataset_id" => "integer"
       }
       # lowercase => [ "request" ]
    }
}

output {
    elasticsearch {
       codec => "json"
       hosts => ["127.0.0.1:9200"]
    }
    stdout { codec => rubydebug }
}

При такой конфигурации мне нужно только получать /var/log/nginx/app.access.log данные, отправленные в эластичный?

В Кибане я вижу всю активность изнесколько файлов журнала:

/ var / log / messages / var / log / secure

Есть идеи, почему это происходит, потому что я не могу найти какие-либо решения для этого?

Спасибо

...