Файл конфигурации, logstash ruby ​​filter event.get ("message"). Match () Ошибка - PullRequest
Новая
       71

Файл конфигурации, logstash ruby ​​filter event.get ("message"). Match () Ошибка

0 голосов
/ 27 сентября 2019

В файле конфигурации logstash я пытаюсь просто проанализировать данные XML.

Это мой файл конфигурации: 


input {
    file {
        path => "/home/elastic-stack/logstash-7.3.2/event-data/telmetry.log"
        start_position => "beginning"
        type => "sandbox-out"
        codec => multiline {
            pattern => "^</datastore-contents-xml>"
            negate => "true"
            what => "next"
    }

    }
    http { 
        host => "127.0.0.1"
        port => 8080
        type => "sandbox-out"
    }
}
filter {
    grok {
        match => { "message" => "\[%{USER:host_name} %{IP:ip_address} %{USER:session-id} %{NUMBER:session-id-num}\]"}
    }
    grok {
        match => { "message" => "\Subscription Id     \: %{BASE16NUM:subcription-id:int}"}
    }    
    grok {
        match => { "message" => "\Event time      \: %{TIMESTAMP_ISO8601:event-time}"}
    }
    grok {
        match => {"message" => "\<%{USERNAME:Statistic}\>"}
    }
    mutate {
        remove_field => ["headers", "host_name", "session-id","message"]
    }
    date {
        match => ["timestamp","dd/MMM/yyyy:HH:mm:ss Z"]
    }
    ruby { code => 'event.set("justXml", event.get("message").match(/.+(<datastore-contents-xml.*)/m)[1])' }
    xml {
        #remove_namespaces => "true"
        #not even the namspace option is working to access the http link
        source => "justXml"
        target => "xml-content"
        #force_array => "false"
        xpath => [
            "//*[name()='datastore-contents-xml']/*[name()='memory-statistics']/*[name()='memory-statistic'][1]/*[name()='name']/text()" , "name" ,
            "//*[name()='datastore-contents-xml']/*[name()='memory-statistics']/*[name()='memory-statistic'][1]/*[name()='total-memory']/text()" , "total-memory",
            "//*[name()='datastore-contents-xml']/*[name()='memory-statistics']/*[name()='memory-statistic'][1]/*[name()='used-memory']/text()" , "used-memory",
            "//*[name()='datastore-contents-xml']/*[name()='memory-statistics']/*[name()='memory-statistic'][1]/*[name()='free-memory']/text()" , "free-memory" ,
            "//*[name()='datastore-contents-xml']/*[name()='memory-statistics']/*[name()='memory-statistic'][1]/*[name()='lowest-memory']/text()" , "lowest-memory" ,
            "//*[name()='datastore-contents-xml']/*[name()='memory-statistics']/*[name()='memory-statistic'][1]/*[name()='highest-memory']/text()" , "highest-memory" 
        ]
        #logstash is not dectecting any of these xpaths in the config  
    }
    mutate {
        convert => {
            "total-memory" => "integer"
            "used-memory" => "integer"
            "free-memory" => "integer"
            "lowest-memory" => "integer"
            "highest-memory" => "integer"
            }
    }


}
output {
    stdout {
        codec => rubydebug
    }

    file {
        path => "%{type}_%{+dd_MM_yyyy}.log"
    }
}

Желаемый вывод: 

{
        "ip_address" => "10.10.20.30",
    "subcription-id" => 2147483650,
        "event-time" => "2019-09-12 13:13:30.290000+00:00",
              "host" => "127.0.0.1",
         "Statistic" => "memory-statistic",
              "type" => "sandbox-out",
          "@version" => "1",
        "@timestamp" => 2019-09-26T10:03:00.620Z,
    "session-id-num" => "35"
        "yang-model" => "http://cisco.com/ns/yang/Cisco-IOS-XE-memory-oper"
              "name" => "Processor"
      "total-memory" => 2238677360
       "used-memory" => 340449924
       "free-memory" => 1898227436
      "lowest-usage" => 1897220640
     "highest-usage" => 1264110388
}

ОШИБКА: 

[2019-09-27T09:18:55,622][ERROR][logstash.filters.ruby    ] Ruby exception occurred: undefined method `match' for nil:NilClass
/home/elastic-stack/logstash-7.3.2/vendor/bundle/jruby/2.5.0/gems/awesome_print-1.7.0/lib/awesome_print/formatters/base_formatter.rb:31: warning: constant ::Fixnum is deprecated
{
        "ip_address" => "10.10.20.30",
    "subcription-id" => 2147483650,
    "session-id-num" => "35",
              "tags" => [
        [0] "_rubyexception"
    ],
         "Statistic" => "memory-statistic",
        "event-time" => "2019-09-12 13:13:30.290000+00:00",
              "type" => "sandbox-out",
          "@version" => "1",
              "host" => "127.0.0.1",
        "@timestamp" => 2019-09-27T07:18:54.868Z

По ошибке я уже знаю, что проблема с фильтром рубина, но я не знаю, как ее решить.

Эти данные генерируются CiscoТелеметрия, и я пытаюсь ее проглотить, используя Elastic Stack.

1 Ответ

0 голосов
/ 28 сентября 2019

Ошибка, по-видимому, в том, что у события нет поля message, поэтому вы не можете вызвать match для несуществующего объекта.Я вижу, вы звоните match в поле message в этом коде рубина: 

ruby { code => 'event.set("justXml", event.get("message").match(/.+(<datastore-contents-xml.*)/m)[1])' }

Однако вы удаляете поле message из события несколькими строками ранее: 

mutate {
  remove_field => ["headers", "host_name", "session-id","message"]
}

Решение состоит в том, чтобы удалить поле сообщения только тогда, когда оно вам больше не нужно, я бы переместил мутирование remove_field в конец блока filter.

Еще одно предложение, если я могу добавить,В одном и том же поле сообщения работает несколько фильтров grok: 

grok {
  match => { "message" => "\[%{USER:host_name} %{IP:ip_address} %{USER:session-id} %{NUMBER:session-id-num}\]"}
}
grok {
  match => { "message" => "\Subscription Id     \: %{BASE16NUM:subcription-id:int}"}
}    
grok {
  match => { "message" => "\Event time      \: %{TIMESTAMP_ISO8601:event-time}"}
}
grok {
  match => {"message" => "\<%{USERNAME:Statistic}\>"}
}

Это можно упростить в этом (вы можете проверить в Документах фильтра Grok : 

grok {
  break_on_match => false,
  match => {
    "message" => [
      "\[%{USER:host_name} %{IP:ip_address} %{USER:session-id} %{NUMBER:session-id-num}\]",
      "\Subscription Id     \: %{BASE16NUM:subcription-id:int}",
      "\Event time      \: %{TIMESTAMP_ISO8601:event-time}",
      "\<%{USERNAME:Statistic}\>"
    ]
  }
}

Таким образом, вам нужен только один экземпляр фильтра grok, поскольку он будет проходить через шаблоны в списке и из-за break_on_match=>false он не завершится после первого успешного сопоставления, но обязательно извлечет все поля, которые онможет на основе всех шаблонов в списке.

...