Недопустимая ссылка FieldReference при попытке создать индекс с тем же именем, что и значение пути запроса, с использованием вывода ElasticSearch - PullRequest
Новая
       21

Недопустимая ссылка FieldReference при попытке создать индекс с тем же именем, что и значение пути запроса, с использованием вывода ElasticSearch

0 голосов
/ 09 апреля 2019

Это мой logstash.conf файл: 

input {
    http {
        host => "127.0.0.1"
        port => 31311 
    }
}

filter {
    mutate {
        split => ["%{headers.request_path}", "/"]
        add_field => { "index_id" => "%{headers.request_path[0]}" }
        add_field => { "document_id" => "%{headers.request_path[1]}" }
    }
}

output {
  elasticsearch {
    hosts => "http://localhost:9200"
    index => "%{index_id}"
    document_id => "%{document_id}"
  }
  stdout {
    codec => "rubydebug"
  }
}

Когда я отправляю PUT запрос типа

C: \ Users \ BolverkXR \ Downloads \ curl-7.64.1-win64-mingw \ bin>. \ Curl.exe -XPUT 'http://127.0.0.1:31311/twitter'

Я хочу создать новый индекс с именем twitter вместо использования ElasticSearch default .

Тем не менее, Logstash аварийно завершает работу со следующим (усеченным) сообщением об ошибке:

Исключение в pipelineworker, конвейер перестал обрабатывать новый события, пожалуйста, проверьте конфигурацию фильтра и перезапустите Logstash org.logstash.FieldReference $ IllegalSyntaxException: недопустимо FieldReference: headers.request_path[0]

Я уверен, что где-то допустил синтаксическую ошибку, но не вижу, где она. Как я могу это исправить?

EDIT:

Та же ошибка возникает при изменении сегмента filter на следующее: 

filter {
    mutate {
        split => ["%{[headers][request_path]}", "/"]
        add_field => { "index_id" => "%{[headers][request_path][0]}" }
        add_field => { "document_id" => "%{[headers][request_path][1]}" }
    }
}

1 Ответ

1 голос
/ 09 апреля 2019

Для разделения поля синтаксис %{foo} не используется .Также вам следует начинать с позиции [1] массива, поскольку в позиции [0] будет пустая строка ("") из-за того, что слева от первого разделителя нет символов (/)).Вместо этого ваш раздел фильтра должен выглядеть примерно так: 

 filter {
    mutate {
        split => ["[headers][request_path]", "/"]
        add_field => { "index_id" => "%{[headers][request_path][1]}" }
        add_field => { "document_id" => "%{[headers][request_path][2]}" }
    }
}

Теперь вы можете использовать значение в %{index_id} и %{document_id}.Я проверил это, используя logstash 6.5.3 версию и использовал Postman для отправки HTTP-запроса 'http://127.0.0.1:31311/twitter/1', и вывод в консоли был следующим: 

{
        "message" => "",
       "index_id" => "twitter",
    "document_id" => "1",
       "@version" => "1",
           "host" => "127.0.0.1",
     "@timestamp" => 2019-04-09T12:15:47.098Z,
        "headers" => {
             "connection" => "keep-alive",
           "http_version" => "HTTP/1.1",
            "http_accept" => "*/*",
          "cache_control" => "no-cache",
         "content_length" => "0",
          "postman_token" => "cb81754f-6d1c-4e31-ac94-fde50c0fdbf8",
        "accept_encoding" => "gzip, deflate",
           "request_path" => [
            [0] "",
            [1] "twitter",
            [2] "1"
        ],
              "http_host" => "127.0.0.1:31311",
        "http_user_agent" => "PostmanRuntime/7.6.1",
         "request_method" => "PUT"
    }
}

Выходной раздел вашей конфигурации не изменяется,Итак, ваш окончательный файл logstash.conf будет выглядеть примерно так: 

input {
    http {
        host => "127.0.0.1"
        port => 31311 
    }
}

filter {
    mutate {
        split => ["[headers][request_path]", "/"]
        add_field => { "index_id" => "%{[headers][request_path][1]}" }
        add_field => { "document_id" => "%{[headers][request_path][2]}" }
    }
}

output {
  elasticsearch {
    hosts => "http://localhost:9200"
    index => "%{index_id}"
    document_id => "%{document_id}"
  }
  stdout {
    codec => "rubydebug"
  }
}
...