Ошибка синтаксического анализа XML Logstash - PullRequest
Новая
       15

Ошибка синтаксического анализа XML Logstash

0 голосов
/ 26 марта 2019

Я использую последнюю версию стека ELK 6.6 для образа deviantony / docker-elk.У меня есть следующий XML-файл, который я пытаюсь проанализировать в объект ES JSON: 

<?xml version="1.0" encoding="UTF-8"?>
<root>
    <ChainId>7290027600007</ChainId>
    <SubChainId>001</SubChainId>
    <StoreId>001</StoreId>
    <BikoretNo>9</BikoretNo>
    <DllVerNo>8.0.1.3</DllVerNo>
</root>

Мой файл конфигурации: 

input {
  file {
    path => "/usr/share/logstash/logs/example1.xml"
    type => "xml"
    start_position => "beginning"
    sincedb_path => "/dev/null"
    codec => multiline {
      pattern => "<?xml version"
      negate => true
      what => "previous"
    }
  }
}

filter {
    xml {
        source => "message"
        store_xml => false
        xpath => [ "/root/ChainId/text()", "ChainId" ]
    }
}

output {
  elasticsearch {
    hosts => "elasticsearch:9200"
    index => "xml_index"
    manage_template => false
  }
}

Мой вывод Logstash: 

{
logstash_1       |     "@timestamp" => 2019-03-26T06:45:27.941Z,
logstash_1       |           "tags" => [
logstash_1       |         [0] "multiline"
logstash_1       |     ],
logstash_1       |           "host" => "751b3a8bf341",
logstash_1       |        "ChainId" => [],
logstash_1       |        "message" => "<?xml version=\"1.0\" encoding=\"UTF-8\"?>\r\n<root>\r\n    <ChainId>7290027600007</ChainId>\r\n    <SubChainId>001</SubChainId>\r\n    <StoreId>001</StoreId>\r\n    <BikoretNo>9</BikoretNo>\r\n    <DllVerNo>8.0.1.3</DllVerNo>\r\n</root>\r",
logstash_1       |           "path" => "/usr/share/logstash/logs/example1.xml",
logstash_1       |       "@version" => "1",
logstash_1       |           "type" => "xml"
logstash_1       | }

Тело XML под сообщением отображается в виде строки с экранированием и \r\n.Поле XPath ChainId возвращает пустой массив.Я пытался и с другими XML-файлами с теми же результатами.

Обновление : После попытки удалить \r\n все еще не получал поля, проанализированные XPath.Мой вывод: 

logstash_1       |        "message" => "<?xml version=\"1.0\" encoding=\"UTF-8\"?><root>    <ChainId>7290027600007</ChainId>    <SubChainId>001</SubChainId>    <StoreId>001</StoreId>    <BikoretNo>9</BikoretNo>    <DllVerNo>8.0.1.3</DllVerNo>",
logstash_1       |        "StoreId" => [],
logstash_1       |      "BikoretNo" => [],
logstash_1       |        "ChainId" => [],
logstash_1       |           "type" => "xml",
logstash_1       |           "tags" => [
logstash_1       |         [0] "multiline"
logstash_1       |     ],
logstash_1       |     "@timestamp" => 2019-03-27T20:51:09.575Z,
logstash_1       |       "DllVerNo" => [],
logstash_1       |           "path" => "/usr/share/logstash/logs/example1.xml",
logstash_1       |           "host" => "751b3a8bf341",
logstash_1       |     "SubChainId" => [],
logstash_1       |       "@version" => "1"
logstash_1       | }

Ответы [ 3 ]

0 голосов
/ 27 марта 2019

Я попробовал вашу конфигурацию, и она работает в среде Windows, Это случилось со мной один раз, и я изменил выражение xpath

Попробуйте изменить выражение xpath на одно из следующих значений 

xpath => [ "//*[local-name() = 'ChainId']/text()", "ChainId" ]

OR 

xpath => [ "//ChainId/text()", "ChainId" ]
0 голосов
/ 03 апреля 2019

Мои файлы XML были закодированы с помощью спецификации UTF-8 вместо UTF-8.Проблема решена!

0 голосов
/ 27 марта 2019

Пожалуйста, используйте gsub фильтр mutate для удаления специального символа из сообщения.

mutate { 
        gsub => [ "message", "[\r\n]", "" ] 
    }

Добавить настройку цели в фильтр XML для размещения данных.

filter {

    xml{
        source => "message"
        store_xml => false
        target => "root"

    }

}

Вот полный рабочий файл конфигурации logstash.

input
{
    file
        {
            path => "C:\Users\KZAPAGOL\Desktop\CSV\XMLFile.xml"
            start_position => "beginning"
            sincedb_path => "/dev/null"
            exclude => "*.gz"
            type => "xml"
            codec => multiline {
                    pattern => "<?xml " 
                    negate => "true"
                    what => "previous"
                }
        }
}

filter {

    xml{
        source => "message"
        store_xml => false
        target => "root"
        xpath => [
            "/root/ChainId/text()", "ChainId",
            "/root/SubChainId/text()", "SubChainId",
            "/root/StoreId/text()", "StoreId",
            "/root/BikoretNo/text()", "BikoretNo",
            "/root/DllVerNo/text()", "DllVerNo"
        ]
    }

    mutate { 
        gsub => [ "message", "[\r\n]", "" ] 
    }
}

output{

elasticsearch{
        hosts => ["http://localhost:9200/"]
        index => "parse_xml"
    }

    stdout
    {
        codec => rubydebug
    }
}

Выход 

{
  "_index": "parse_xml",
  "_type": "doc",
  "_id": "vNj4v2kBZ2Q_C9FO94eF",
  "_version": 1,
  "_score": null,
  "_source": {
    "@timestamp": "2019-03-27T16:25:58.379Z",
    "path": "filePath",
    "tags": [
      "multiline"
    ],
    "ChainId": [
      "7290027600007"
    ],
    "BikoretNo": [
      "9"
    ],
    "DllVerNo": [
      "8.0.1.3"
    ],
    "host": "xxxx",
    "@version": "1",
    "SubChainId": [
      "001"
    ],
    "message": "<?xml version=\"1.0\" encoding=\"UTF-8\"?><root>    <ChainId>7290027600007</ChainId>    <SubChainId>001</SubChainId>    <StoreId>001</StoreId>    <BikoretNo>9</BikoretNo>    <DllVerNo>8.0.1.3</DllVerNo></root>",
    "type": "xml",
    "StoreId": [
      "001"
    ]
  },
  "fields": {
    "@timestamp": [
      "2019-03-27T16:25:58.379Z"
    ]
  },
  "sort": [
    1553703958379
  ]
}

enter image description here

...