Многострочный фильтр Filebeat не работает? - PullRequest
0 голосов
/ 18 февраля 2019

Я пытаюсь прочитать файлы из filebeat и вставить их в logstash.Прежде чем нажать их, я пытаюсь объединить события, которые содержат трассировку стека Java.Я пробовал этот фильтр, но он не работает.

filebeat.prospectors:
- type: log
  paths:
- /mnt/logs/myapp/*.log

multiline.pattern: '^[0-9]{4}-[0-9]{2}-[0-9]{2}'
multiline.negate: true
multiline.match: after

Это пример журналов, которые я пытаюсь отправить в logstash.Я хочу объединить события трассировки стека с событием с отметкой времени, которая предшествовала ему

2019-02-18 17:08:44 augmentos  http-nio-8090-exec-4 INFO c.a.s.c.a.a.CommonCorpAuthAspect@validateAuth:68 - Header Name: connection And Header Value : keep-alive
2019-02-18 17:08:44 augmentos  http-nio-8090-exec-4 INFO c.a.s.c.a.a.CommonCorpAuthAspect@validateAuth:118 - Permission status is true
2019-02-18 17:08:44 augmentos  http-nio-8090-exec-4 INFO c.a.s.c.a.c.AssetADVActionResource@emailAssets:92 - User testqa is sending Asset on Email.
2019-02-18 17:08:47 augmentos  http-nio-8090-exec-4 INFO c.a.spectra.aws.utils.S3ServiceUtil@generateSignedUrl:48 - Generating pre-signed URL with timeout 604800000
2019-02-18 17:08:56 augmentos  http-nio-8090-exec-4 ERROR c.a.s.c.a.a.CommonCorpAuthAspect@validateAuth:131 - Authorization Aspect error
java.lang.NullPointerException: null
        at com.ad2pro.spectra.core.acs.service.EmailHandlerService.getAssetFiles(EmailHandlerService.java:140)
        at com.ad2pro.spectra.core.acs.service.EmailHandlerService.emailAsset(EmailHandlerService.java:63)
        at com.ad2pro.spectra.core.acs.controllers.Test.emailAssets(AssetADVActionResource.java:104)
        at com.ad2pro.spectra.core.acs.controllers.Test$$FastClassBySpringCGLIB$$bfc0b3c1.invoke(<generated>)
        at org.springframework.cglib.proxy.MethodProxy.invoke(MethodProxy.java:204)
2019-02-18 17:08:44 augmentos  http-nio-8090-exec-4 INFO c.a.s.c.a.a.CommonCorpAuthAspect@validateAuth:68 - Header Name: connection And Header Value : keep-alive
2019-02-18 17:08:44 augmentos  http-nio-8090-exec-4 INFO c.a.s.c.a.a.CommonCorpAuthAspect@validateAuth:118 - Permission status is true

После объединения событий я предполагаю, что атрибут сообщения должен объединять оба сообщения о событиях, если я прав, пожалуйста, помогите по этому вопросу.

1 Ответ

0 голосов
/ 19 февраля 2019
  1. Ваше регулярное выражение должно быть хорошим.См. https://www.elastic.co/guide/en/beats/filebeat/current/_test_your_regexp_pattern_for_multiline.html, как вы можете на самом деле это проверить.
  2. Возможно, это просто ошибка копирования-вставки, но отступ в вашем файле YAML выглядит неправильно.Также проверьте ваши журналы Filebeat на наличие ошибок.Это должно быть:

    - type: log
      paths:
        - /mnt/logs/*.log
      multiline:
        pattern: '^\['
        negate: true
        match: after
    
...