Не работает рекурсивный фильтр kv в logstash - PullRequest
Новая
       87

Не работает рекурсивный фильтр kv в logstash

0 голосов
/ 20 апреля 2019

Я хочу знать об использовании рекурсивной функции в kv filter.Я использую файл CSV.Я загрузил файл в ES, используя logstash.Прочитав руководство по этой ссылке https://www.elastic.co/guide/en/logstash/current/plugins-filters-kv.html#plugins-filters-kv-recursive

, я узнал, что оно дублирует пару ключ / значение и хранит его в отдельном ключе.Но я не могу получить дополнительную информацию или примеры о фильтре.Я добавил рекурсивную строку в файл конфигурации logstash.Без изменений.Это дублирует поля со значениями (пары ключ-значение) или что делает эта функция ???

Вот мой пример данных CSV-файла, проходящих через logstash: 

"host" => "smackcoders",
                  "Driveline" => "Four-wheel drive",
                       "Make" => "Jeep",
                      "Width" => "79",
                     "Torque" => "260",
                       "Year" => "2012",
                 "Horsepower" => "285",
                   "City_mpg" => "17",
                     "Height" => "34",
             "Classification" => "Manual,Transmission",
                 "Model_Year" => "2012 Jeep Wrangler",
    "Number_of_Forward_Gears" => "6",
                     "Length" => "41",
                "Highway_mpg" => "21",
                   "@version" => "1",
                    "message" => "17,\"Manual,Transmission\",Four-wheel drive,Jeep 3.6L 6 Cylinder 280 hp 260 lb-ft,Gasoline,34,21,285,False,2012 Jeep Wrangler Arctic,41,Jeep,2012 Jeep Wrangler,6,260,6 Speed Manual,79,2012",
                  "Fuel_Type" => "Gasoline",
                "Engine_Type" => "Jeep 3.6L 6 Cylinder 280 hp 260 lb-ft",
                       "path" => "/home/paulsteven/log_cars/cars.csv",
                     "Hybrid" => "False",
                         "ID" => "2012 Jeep Wrangler Arctic",
                 "@timestamp" => 2019-04-20T07:58:26.552Z,
               "Transmission" => "6 Speed Manual"
}

Вот конфигфайл: 

input {
   file {
      path => "/home/paulsteven/log_cars/cars.csv"
      start_position => "beginning"
      sincedb_path => "/dev/null"
   }
}
filter {
    csv {
        separator => ","
        columns => ["City_mpg","Classification","Driveline","Engine_Type","Fuel_Type","Height","Highway_mpg","Horsepower","Hybrid","ID","Length","Make","Model_Year","Number_of_Forward_Gears","Torque","Transmission","Width","Year"]
    }
    kv {
        recursive => "true"
    }
}
output {
  elasticsearch {
    hosts => "localhost:9200"
    index => "kvfilter1"
    document_type => "details"
  }
  stdout{}
}

1 Ответ

1 голос
/ 22 апреля 2019

Найдено несколько примеров для рекурсивного фильтра kv: 

input { generator { count => 1 message => 'foo=1,bar="foor=10,barr=11"' } }

filter {
    kv { field_split => "," value_split => "=" recursive => false }
}

даст 

   "foo" => "1",
   "bar" => "foor=10,barr=11",

, тогда как 

input { generator { count => 1 message => 'foo=1,bar="foor=10,barr=11"' } }

filter {
    kv { field_split => "," value_split => "=" recursive => true }
}

даст 

       "foo" => "1",
       "bar" => {
    "foor" => "10",
    "barr" => "11"
},
...