Как я могу разобрать несколько файлов журнала в logstash - PullRequest
Новая
       104

Как я могу разобрать несколько файлов журнала в logstash

0 голосов
/ 20 апреля 2020

У меня есть следующий файл для go для разбора по Logsta sh 7.6 

    DetailId,RequestId,RequestedContent,CreatedDate,CreatedUser,UpdatedDate,UpdatedUser,,,,,,,,,,,,,
27304140,27304147,Header:{"Connection":"Keep-Alive",Accept-Encoding:"gzip",Host:"fastaglogin.icicibank.com",User-Agent:"okhttp/3.4.2",APIClient_ID:"90000036",API_KEY:"870FC9A817554ACC7BD8486A7195EC293F2A7F6842DEDFAECA3527A91D76C0F44CF645",X-Forwarded-For:"180.179.175.10"}Request:{"VehicleNumber":"AP16EL6042"},09:55.4,GooglePayAPI,09:55.4,GooglePayAPI,,,,,,,
27304127,27304134,Header:{"Host":"fastaglogin.icicibank.com",x-API-KEY:"F8A714F12DD8F188578DC6D93D83E0E1B94E72D884D1BD486322FCF205C832FC95B9F4",X-Forwarded-For:"223.230.58.145"}Request:<XML>,,,,,,,,,,,,,,,
 ,,,,,,,,,,,,,,,,,,,
  <Source>ICICI-EAZYPAY</Source>,,,,,,,,,,,,,,,,,,,
 ,,,,,,,,,,,,,,,,,,,
  <SubscriberId>AP33c1119</SubscriberId>,,,,,,,,,,,,,,,,,,,
 ,,,,,,,,,,,,,,,,,,,
   <TxnId>ICI930394241c524be2be4c6b93d65bfafa</TxnId>,,,,,,,,,,,,,,,,,,,
 ,,,,,,,,,,,,,,,,,,,
    <MerchantKey></MerchantKey> ,,,,,,,,,,,,,,,,,,,
 ,,,,,,,,,,,,,,,,,,,
</XML>,07:55.6,VehicleDetailsAPI,07:55.6,VehicleDetailsAPI,,,,,,,,,,,,,,,
27304126,27304133,Header:{"Cache-Control":"no-cache",Connection:"keep-alive",Pragma:"no-cache",Accept:"text/html, image/gif, image/jpeg, *; q=.2, */*; q=.2",Accept-Language:"en-US en; q=0.5",Host:"fastaglogin.icicibank.com",User-Agent:"Mozilla/5.0",x-api-key:"F8A714F12DD8F188578DC6D93D83E0E1B94E72D884D1BD486322FCF205C832FC95B9F4",X-dynaTrace:"FW4;-469517532;1;164530549;3321329;0;-215855509;489;a9e5;2h01;3h09ce8975;4h32adf1",X-Forwarded-For:"103.87.40.139"}Request:<XML><Source>ICICI-EAZYPAY</Source><SubscriberId>AP39EK7851</SubscriberId><TxnId>YBL91db1d7b6043492992e52c5e1a031964</TxnId></XML>,07:46.3,VehicleDetailsAPI,07:46.3,VehicleDetailsAPI

По сути, есть только 3 записи журнала в вышеуказанном файле журнала. средний журнал - это многострочная запись. Я пытаюсь следующий файл CONF безрезультатно. пожалуйста, дайте мне знать правильный способ go об этом. 

input {
  file {
    path => "C:/ELK/Logs/WebAPI_reduced.csv"
    start_position => "beginning"
    sincedb_path => "NUL"
    codec => multiline {
      pattern => "^\s"
      negate => true      
      what => "previous"
    }
  }
}

filter {
      csv {
        columns => [ "DetailId","RequestId","RequestedContent"]     
     }
    }

output {
  elasticsearch { 
  hosts => "http://localhost:9200"
  index => "webapireduced"
  }
  stdout {}

 }
...