Исключить "'" в трубопроводе Кибана - PullRequest
Новая
       56

Исключить "'" в трубопроводе Кибана

0 голосов
/ 17 октября 2018

В настоящее время я работаю с Kibana и столкнулся с проблемой, которую не могу решить.в моем исходном файле есть правило, которое включает в себя «», однако, когда я запускаю скрипт, который я сделал для kibana в инструментах разработчика, он не включает это правило, которое выдает ошибку.Как я могу исключить эти символы или как это может быть включено?я пытался исключить эти символы, используя подполе ag, но это тоже не работает. 

"%{DATA:Datetime},%{DATA:Elapsed},%{DATA:label},%{DATA:ResponseCode},%{DATA:ResponseMessage},%{DATA:ThreadName},%{DATA:DataType},%{DATA:Success},%{DATA:FailureMessage},%{DATA:Bytes},%{DATA:SentBytes},%{DATA:GRPThreads},%{DATA:AllThreads},%{DATA:URL},%{DATA:Latency},%{DATA:IdleTime},%{GREEDYDATA:Connect}"

, то есть шаблон Grok, который я использую. 

27-19-2018 12:19:43,8331,OK - Refresh Samenvatting,200,"Number of samples in transaction : 67, number of failing samples : 0",Thread Group 1-1,,true,,550720,137198,1,1,null,8318,5094,270

, и этолиния, которую я хочу пройти через нее, в "" идет не так, как надо.

R.Kiers

1 Ответ

0 голосов
/ 17 октября 2018

Лучше всего использовать пользовательские шаблоны.Протестировано на Kibana 6.x и работает на примере данных, приведенных выше.Можно легко настроить для работы с любыми образцами данных

используемые пользовательские шаблоны:

UNTILNEXTCOMMA ([^,]*)

Шаблон Grok: 

%{DATA:Datetime},%{NUMBER:Elapsed},%{UNTILNEXTCOMMA:label},%{NUMBER:Responsecode},"%{GREEDYDATA:ResponseMessage}",%{UNTILNEXTCOMMA:ThreadName},%{UNTILNEXTCOMMA:DataType},%{UNTILNEXTCOMMA:Success},%{UNTILNEXTCOMMA:FailureMessage},%{NUMBER:Bytes},%{NUMBER:SentBytes},%{NUMBER:GRPThreads},%{NUMBER:AllThreads},%{UNTILNEXTCOMMA:URL},%{NUMBER:Latency},%{NUMBER:IdleTime},%{NUMBER:Connect}

EDIT1:

Трубопровод для Kibana 5.x 

PUT _ingest/pipeline/test
{
    "description": "Test pipeline",
    "processors": [
      {
        "grok": {
          "field": "message",
          "patterns": [
            "%{DATA:Datetime},%{DATA:Elapsed},%{DATA:label},%{DATA:ResponseCode},\"%{GREEDYDATA:ResponseMessage}\",%{DATA:ThreadName},%{DATA:DataType},%{DATA:Success},%{DATA:FailureMessage},%{DATA:Bytes},%{DATA:SentBytes},%{DATA:GRPThreads},%{DATA:AllThreads},%{DATA:URL},%{DATA:Latency},%{DATA:IdleTime},%{GREEDYDATA:Connect}"
          ],
          "ignore_failure": false
        }
      }
    ]
}

Протестировано с использованием симуляции и работает 

POST _ingest/pipeline/test/_simulate
{
  "docs" : [
    { "_source": { "message" : "27-19-2018 12:19:43,8331,OK - Refresh Samenvatting,200,\"Number of samples in transaction : 67, number of failing samples : 0\",Thread Group 1-1,,true,,550720,137198,1,1,null,8318,5094,270"
} }
  ]
}
...