Как разделить многострочный журнал на logstash - PullRequest
Новая
       7

Как разделить многострочный журнал на logstash

0 голосов
/ 13 июня 2018

Я пытаюсь создать фильтр для моего файла журнала.Мой журнал: 

    =-=-=-=-=-=-=-=-
    Timestamp: Thursday, April 19, 2018 2:48:49 AM
    Message: HandlingID: 3
    An exception of type 'System.Exception' occurred and was caught.
    ----------------------------------------------------------------
    04/19/2018 02:48:49
    Type : System.Exception,ib, Version=4.0.0.0, Culture=neutral
    Message : TRY
    Source : 
    Help link : 
    Data : LinkedList
    TargetSite : 
    HResult : LALA
    Stack Trace : The stack trace is unavailable.
    Additional Info:

    MachineName : S
    TimeStamp : 4/19/2018 6:48:49 AM
    FullName : Some Info
    AppDomainName : AA
    ThreadIdentity : 
    WindowsIdentity : jj

    Category: Error
    Priority: 0
    EventId: 1
    Severity: Extreme
    Title:p
    Machine: S
    Application Domain: y
    Process Id: 
    Process Name: l
    Win32 Thread Id: 6
    Thread Name: 
    Extended Properties: 
    =-=-=-=-=-=-=-=-
    =-=-=-=-=-=-=-=-

//SIMILAR LOG
    =-=-=-=-=-=-=-=-

Здесь = - = - = - = - = - = - = - = - обозначает конец и начало нового журнала.Мой конфигурационный файл: 

input {
beats {
        port => "5044"
    }
}
filter {
multiline {
       pattern => "^=-=-=-=-=-=-=-=-"
       negate => true
       what => previous
    }
}
output {
elasticsearch {
        hosts => [ "localhost:9200" ]
    }
}

Это создает 2 документа (строки) для каждого журнала.Один содержит разделитель + журнал, а другой содержит только разделитель.Я хочу удалить документ, содержащий только разделитель.Также, пожалуйста, дайте мне знать, как разбить мой журнал на различные поля и есть ли какая-либо надлежащая документация, которая могла бы помочь мне в формировании фильтров.Я новичок в logstash.

1 Ответ

0 голосов
/ 13 июня 2018

Если вы хотите включить все новые строки и разделить свой журнал при каждом появлении =-=-=-=-=-=-=-=-, вы можете сопоставить его с многострочным модификатором (?m) следующим образом: 

(?m)%{GREEDYDATA:log}=-=-=-=-=-=-=-=-

Этовыдаст, 

{
  "log": [
    [
      "    Timestamp: Thursday, April 19, 2018 2:48:49 AM\n    Message: HandlingID: 3\n    An exception of type 'System.Exception' occurred and was caught.\n    ----------------------------------------------------------------\n    04/19/2018 02:48:49\n    Type : System.Exception,ib, Version=4.0.0.0, Culture=neutral\n    Message : TRY\n    Source : \n    Help link : \n    Data : LinkedList\n    TargetSite : \n    HResult : LALA\n    Stack Trace : The stack trace is unavailable.\n    Additional Info:\n\n    MachineName : S\n    TimeStamp : 4/19/2018 6:48:49 AM\n    FullName : Some Info\n    AppDomainName : AA\n    ThreadIdentity : \n    WindowsIdentity : jj\n\n    Category: Error\n    Priority: 0\n    EventId: 1\n    Severity: Extreme\n    Title:p\n    Machine: S\n    Application Domain: y\n    Process Id: \n    Process Name: l\n    Win32 Thread Id: 6\n    Thread Name: \n    Extended Properties: \n    "
    ]
  ]
}

Вы можете проверить это, https://grokdebug.herokuapp.com/

...