У меня есть требование, при котором я должен визуализировать данные, используя два файла журнала из двух разных источников, один - журналы haproxy, а другой - nginx журналы. Я пытаюсь использовать ELK-стек, но не могу проанализировать два разных файла журнала в общем формате, используя logsta sh.
Ниже приведен формат журнала haproxy:
**Feb 22 21:17:32** ap haproxy[1235]: 10.172.80.45:32071 10.31.33.34:44541 10.31.33.34:32772 13.127.229.72:443 [22/Feb/2020:21:17:32.006] this_machine~ backend_app/app_32772 40/0/5/1/**836** 200 701381 - - ---- 0/0/0/0/0 0/0 {cdn.net} {hitting} "GET **/ob/720/output00007.ts** HTTP/1.1"
Ниже приведен Nginx Журнал:
183.87.179.64 - - [**24/Feb/2020:16:58:08** +0000] "GET **/felaapp/hd_images/apple.jpg** HTTP/1.1" 200 3414616 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:73.0) Gecko/20100101 Firefox/73.0" **1.049** - .
Я хочу выделенный контент и дополнительные поля, чтобы определить источник данных в формате ниже общего
"Date" "Time" "Content" "Responsetime in Milliseconds" "Source"
"24-02-2020" "16:58:08" "/felaapp/hd_images/apple.jpg" "836" "Nginx"
"22-02-2020" "21:17:32" "/ob/720/output00007.ts" "1.04" "Haproxy"
Я пытаюсь сделать это через logsta sh с помощью плагина gork и mutate, но я также открыт для формата csv, но мне понадобятся данные в режиме реального времени, поэтому CSV необходимо обновлять в режиме реального времени.
Пожалуйста, помогите.