Шаблон Grok для анализа этого в logstash и индексации в Elasticsearch - PullRequest
Новая
       14

Шаблон Grok для анализа этого в logstash и индексации в Elasticsearch

0 голосов
/ 27 ноября 2018

У меня есть пример файла журнала, который нужно проанализировать и проиндексировать в Elasticsearch.Я ищу шаблон Грок, чтобы разобрать то же самое.Как мне смотреть на многострочные события и анализ этого файла.

https://pastebin.com/TgX2t8Xj

1533049141.394300 IP 193.169.252.32.37906 > 66.135.211.96.80: Flags 
[P.], seq 1685009963:1685011342, ack 1304322535, win 29200, length 
1379: HTTP: POST /services/search/FindingService/v1 HTTP/1.1
E.....@.@...... B..`...Pdo6+M.a.P.r../..POST 
/services/search/FindingService/v1 HTTP/1.1
Host: 66.135.211.96
Content-Length: 710
Accept: 
text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
Accept-Language: de-de,de;q=0.8,en-us;q=0.5,en;q=0.3
Accept-Encoding: gzip,deflate
X-Ebay-SOA-Request-Data-Format: XML
X-EBAY-SOA-GLOBAL-ID: EBAY-DE
X-EBAY-SOA-SECURITY-APPNAME: eBayInc80-8977-4f05-a933-3daa1311213
X-EBAY-SOA-SERVICE-NAME: FindingService
X-EBAY3PP-DEVICE-ID: 31ac18b8-35f3-5a1e-9670-c30ccbf8596e,1,01
X-EBAY-SOA-OPERATION-NAME: findItemsAdvanced
X-EBAY-SOA-SERVICE-VERSION: 1.11.0
Content-Type: text/plain; charset=UTF-8
User-Agent: eBayiPhone/2.5.2

Я предполагаю, что это одно событие, для этого нужен шаблон Грока.Хотелось бы услышать любые отзывы на это.Спасибо

1 Ответ

0 голосов
/ 27 ноября 2018

Первый шаг - объединить строки с плагином многострочного кодека logstash .С его помощью вы указываете шаблон, который будет отделять одно сообщение от следующего, и он объединяет их в одну строку.

После этого вы создадите шаблон grok для сопоставления и извлечения необходимых данных.Использование grok отладчика является отличным способом сделать это.Начните слева и двигайтесь медленно.

...