импортировать файл .log вasticsearch и Kibana - PullRequest
Новая
       4

импортировать файл .log вasticsearch и Kibana

0 голосов
/ 11 ноября 2018

У меня есть этот файл .log с JSON, и он выглядит так 

    {"method":"GET","path":"/public/index","format":"html","controller":"public","action":"index","status":200,"duration":84.59,"view":33.7,"db":47.45,"ip":"127.0.0.1","route":"public#index","request_id":"4d7016832294bafa8f593453eed2adb1","source":"unknown","tags":["request"],"@timestamp":"2018-11-09T22:54:06Z","@version":"1"}
{"method":"GET","path":"/public/index","format":"html","controller":"public","action":"index","status":200,"duration":15.44,"view":13.85,"db":0.91,"ip":null,"route":null,"request_id":null,"source":"unknown","tags":["request"],"@timestamp":"2018-11-09T22:54:28Z","@version":"1"}
{"method":"GET","path":"/public/index","format":"html","controller":"public","action":"index","status":200,"duration":13.86,"view":12.47,"db":0.8,"ip":null,"route":null,"request_id":null,"source":"unknown","tags":["request"],"@timestamp":"2018-11-09T22:54:40Z","@version":"1"}

и я пытаюсь импортировать это в эластичный поиск и кибану. Я пытался с этим кодом в командной строке 

curl -XPOST "http://localhost:9200/test/test" -H "Content-Type: application/json" -d @logfile.log

и я получаю эту ошибку 

{"error":{"root_cause":[{"type":"mapper_parsing_exception","reason":"failed to parse"}],"type":"mapper_parsing_exception","reason":"failed to parse","caused_by":{"type":"illegal_argument_exception","reason":"Malformed content, found extra data after parsing: START_OBJECT"}},"status":400}

и когда я смотрю в Кибане, я вижу это

this is what i have in Kibana

что я делаю не так?

1 Ответ

0 голосов
/ 11 ноября 2018

Общий формат: 

action_and_meta_data\n
optional_source\n
action_and_meta_data\n
optional_source\n
....

В вашем файле уже есть все строки optional_source.

Просто добавьте строку, содержащую { "index" : { "_index" : "YOUR-INDEX-NAME", "_type" : "_doc"} } до каждой ваших строк.

Тогда ПОСТ против массового API в ES https://www.elastic.co/guide/en/elasticsearch/reference/current/docs-bulk.html

...