У нас есть кластер kubernetes и, используя fluentd, мы отправляем все журналы k8s в управляемые AWS Elasticsearch и Kibana.
Ниже перечислены различные форматы журналов.
log: ** 172.31.98.158 - [172.31.98.158] - - [01 / Feb / 2019: 19: 27: 13 +0000] "POST / v1 / login HTTP / 1.1" ** 403 103 "http://localhost:3000/datapipelines/list" "Mozilla / 5.0 (Macintosh; Intel Mac OS X 10_13_4) AppleWebKit / 537.36 (KHTML, как Gecko) Chrome / 71.0.3578.98 Safari / 537.36" 516 0.002 [test-demok8s-8080] 100.96.2.207:8080 103 0.002 406 686 688 680 688 686 878 685 8686 0787 079506 0791 0957 079506 0797 079506 0787 079506506 0806 6797505 0553 5706 610 6806 640 6686 0883stream: stdout docker.container_id: f29b956d5998514db179fdaf588634222006522c98abed25d492b1a8550fda46
log: ** 172.31.98.175 - [172.31.98.175] - - [05 / февр.v1 / login HTTP / 1.1 "** 401 119" - "" Go-http-client / 1.1 "806 0,004 [test-demo-k8s-8080] 10.99.12.105:8080 119 0,003 401 20ab705b1a6fabe8088334466de9b907 поток: докер stdout.container_id: f29b956d5998514db179fdaf588634222006522c98abed25d492b1a8550fda46 kubernetes.container_name: ingress-nginx kubernetes.namespace_name: sherlock-infra kubernetes.pod_name: ingress-nginx-7cf879d6c8-jnntl
Ниже приведены примеры шаблонов, которые мне нужно найти:
"GET /v1 / возраст HTTP / 1.1 "" 400 ИЛИ 401 ИЛИ 403 ИЛИ 404 ИЛИ 500 "" GET / v1 / application HTTP / 1.1 "" 400 ИЛИ 401 ИЛИ 404 ИЛИ 500 "" GET / v1 / категории HTTP / 1.1 ""400 ИЛИ 401 ИЛИ 403 ИЛИ 404 ИЛИ 500 "" GET / v1 / projects HTTP / 1.1 "" "400 ИЛИ 401 ИЛИ 403 ИЛИ 404 ИЛИ 500" "GET / v1 / datastore HTTP / 1.1" "" 400 ИЛИ 401 ИЛИ 403 ИЛИ404 ИЛИ 500 "GET / v1 / datastream HTTP / 1.1" "" 400 ИЛИ 401 ИЛИ 403 ИЛИ 404 ИЛИ 500 "
I am trying to create a dashboard/Visualisation for the following error codes 400, 401, 403, 404 500.
Can any one suggest me the how can i do it i tried the following using filter but it doesn't give me the correct data/info.
{
"query": {
"bool": {
"should": [
{
"match_phrase": {
"log": "* \"POST /v1/login HTTP/1.1\" 401"
}
},
{
"match_phrase": {
"log": "* \"POST /v1/login HTTP/1.1\" 400"
}
},
{
"match_phrase": {
"log": "* \"POST /v1/login HTTP/1.1\" 403"
}
},
{
"match_phrase": {
"log": "* \"POST /v1/login HTTP/1.1\" 404"
}
},
{
"match_phrase": {
"log": "* \"POST /v1/login HTTP/1.1\" 500"
}
},
{
"match_phrase": {
"log": "* \"POST /v1/login HTTP/1.1\" 503"
}
},
{
"match_phrase": {
"log": "* \"POST /v1/login HTTP/1.1\" 504"
}
},
{
"match_phrase": {
"log": "* \"POST /v1/login HTTP/1.1\" 505"
}
}
],
"minimum_should_match": 1
}
}
}
Я хочу получить коды ошибок для всех запросов, как описано выше.https://github.com/carlosedp/kubernetes-elasticsearch- cluster / blob / master / Kibana-dashboards.json
Спасибо