Найти частичные дубликаты строк в файле и посчитать, сколько раз каждая строка дублировалась? - PullRequest
Новая
       10

Найти частичные дубликаты строк в файле и посчитать, сколько раз каждая строка дублировалась?

0 голосов
/ 25 октября 2018

Я хочу посчитать, сколько дубликатов в моем лог-файле.например, если следующим был мой журнал 

[2018-10-17 15:25:24,243] [ERROR] python - Users: Unable to retrieve 1  
[2018-10-17 15:25:24,272] [ERROR] python - Users: Unable to retrieve 2  
[2018-10-17 15:25:24,280] [ERROR] python - Users: Unable to retrieve 3  
[2018-10-17 15:25:24,281] [ERROR] python - Users: Unable to retrieve 2  
[2018-10-17 15:26:45,759] [ERROR] python - CATP: Unable to retrieve 1  
[2018-10-17 15:26:48,432] [ERROR] python - Users: Unable to retrieve 3  
[2018-10-17 15:26:48,460] [ERROR] python - Users: Unable to retrieve 1

я хочу, чтобы вывод был 

Users: Unable to retrieve 1 : 3  
Users: Unable to retrieve 2 : 2  
Users: Unable to retrieve 3 : 2

1 Ответ

0 голосов
/ 25 октября 2018

Если я не интерпретирую это неправильно, будет достаточно одной строки AWK.

awk '{m[$NF]++} END{for(k in m) print k,"unable to retrieve",m[k]}' test.txt

Где test.txt - ваш файл журнала.

Это довольно простая однострочная строка, поскольку она просто проверяет последнее поле в каждой строке, накапливает их и при последней печати. ​​

...