Фильтрация повторяющихся записей из событий Splunk

Question

Я новичок в spunk и у меня есть некоторые события spunk, как показано ниже

2019-06-26 23:45:36 INFO ID 123456 | Response Code 404 2019-06-26 23:55:36 INFO ID 123456 | Response Code 404 2019-06-26 23:23:36 INFO ID 258080 | Response Code 404

Есть ли способ отфильтровать первые два события, поскольку они имеют одинаковый идентификатор 123456, и просмотреть их как одно событие? Я попробовал что-то, что, как я знаю, совершенно неправильно, предложения могут быть очень полезны в этом.

index=myindex "Response Code 404" | rex field=ID max_match=2 "(?<MyID>\b(?:123456)\b)" | stats count by ID MyID | where count > 1

Answer 1

Это не совсем так.Это один из законных способов удаления дубликатов.Вот еще одно:

index=myindex "Response Code 404"  
| rex field=ID max_match=2 "(?<MyID>\b(?:123456)\b)" 
| dedup MyID

Использование dedup часто предпочтительнее, поскольку не удаляет поля, как stats.