Добавить поле уровня log4net в файл logstash.conf - PullRequest
Новая
       20

Добавить поле уровня log4net в файл logstash.conf

0 голосов
/ 29 марта 2019

Я пытаюсь добавить поле LEVEL (чтобы оно отображалось в Кибане).Мой logstash.conf

Ввод: 

2018-03-18 15:43:40.7914 - INFO: Tick 
2018-03-18 15:43:40.7914 - ERROR: Tock

file: 

input {
  beats {
    port => 5044
  }
}
filter {
  grok {      
      match => { 
            "message" => "(?m)^%{TIMESTAMP_ISO8601:timestamp}~~\[%{DATA:thread}\]~~\[%{DATA:user}\]~~\[%{DATA:requestId}\]~~\[%{DATA:userHost}\]~~\[%{DATA:requestUrl}\]~~%{DATA:level}~~%{DATA:logger}~~%{DATA:logmessage}~~%{DATA:exception}\|\|"
        }
      match => {
        "levell" => "(?m)^%{DATA:level}"
      }
      add_field => { 
        "received_at" => "%{@timestamp}" 
        "received_from" => "%{host}"
        "level" => "levell"
      }
      remove_field => ["message"]      
    }
  date {
    match => [ "timestamp", "yyyy-MM-dd HH:mm:ss:SSS" ]
  }
}
output {
  elasticsearch {
    hosts => ["http://localhost:9200"]
    sniffing => true
    index => "filebeat-%{+YYYY.MM.dd}"
    document_type => "%{[@metadata][type]}"
    #user => "elastic"
    #password => "changeme"
  }
  stdout { codec => rubydebug }
}

выводит «levell» вместо «INFO / ERROR» и т. Д.

РЕДАКТИРОВАТЬ: Вход: 

2018-03-18 15:43:40.7914 - INFO: Tick

Конфигурация: 

# Sample Logstash configuration for creating a simple
# Beats -> Logstash -> Elasticsearch pipeline.

input {
  beats {
    port => 5044
  }
}
filter {
  grok {      
      match => { "message" => "(?m)^%{TIMESTAMP_ISO8601:timestamp}~~\[%{DATA:thread}\]~~\[%{DATA:user}\]~~\[%{DATA:requestId}\]~~\[%{DATA:userHost}\]~~\[%{DATA:requestUrl}\]~~%{DATA:level}~~%{DATA:logger}~~%{DATA:logmessage}~~%{DATA:exception}\|\|" }
      add_field => { 
        "received_at" => "%{@timestamp}" 
        "received_from" => "%{host}"
      } 
    }
  grok {      
      match => { "message" => "- %{LOGLEVEL:level}" }
      remove_field => ["message"]      
    }
  date {
    match => [ "timestamp", "yyyy-MM-dd HH:mm:ss:SSS" ]
  }
}
output {
  elasticsearch {
    hosts => ["http://localhost:9200"]
    sniffing => true
    index => "filebeat-%{+YYYY.MM.dd}"
    document_type => "%{[@metadata][type]}"
    #user => "elastic"
    #password => "changeme"
  }
  stdout { codec => rubydebug }
}

Выходные данные я получаю.По-прежнему отсутствует полученный_ат и уровень: enter image description here

1 Ответ

1 голос
/ 01 апреля 2019

В этой части конфигурации: 

  add_field => { 
    "received_at" => "%{@timestamp}" 
    "received_from" => "%{host}"
    "level" => "levell"
  }

При использовании "level" => "levell" вы просто помещаете строку levell в поле level. Чтобы ввести значение поля с именем levell, вы должны использовать %{levell}. Так что в вашем случае это будет выглядеть так: 

  add_field => { 
    "received_at" => "%{@timestamp}" 
    "received_from" => "%{host}"
    "level" => "%{levell}"
  }

Также grok#match, в соответствии с документацией :

Хеш, который определяет отображение, где искать и с какими образцами.

Так что попытка сопоставления в поле levell не будет работать, так как похоже, что его еще не существует. И шаблон grok, который вы используете, чтобы соответствовать полю message, не соответствует приведенному вами примеру.

...