Разбор лог файлов программно в .NET - PullRequest
Новая
       73

Разбор лог файлов программно в .NET

0 голосов
/ 15 июля 2010

У нас имеется большое количество (читай: 50000) относительно маленьких (читай под 500 КБ, как правило, под 50 КБ) файлов журналов, созданных с помощью log4net из нашего клиентского приложения. Типичный журнал выглядит так: 

Start Painless log
Framework:8.1.7.0
Application:8.1.7.0
2010-05-05 19:26:07,678 [Login ] INFO  Application.App.OnShowLoginMessage(194) - Validating Credentials...
2010-05-05 19:26:08,686 [1     ] INFO  Application.App.OnShowLoginMessage(194) - Checking for Application Updates...
2010-05-05 19:26:08,830 [1     ] INFO  Framework.Globals.InstanceStartup(132) - Application Startup
2010-05-05 19:26:09,293 [1     ] INFO  Framework.PluginManager.LogPluginState(150) - Plugin <Purchase History Data>:True
2010-05-05 19:26:09,293 [1     ] INFO  Framework.PluginManager.LogPluginState(150) - Plugin <Shopping Assistant>:True
2010-05-05 19:26:09,294 [1     ] INFO  Framework.PluginManager.LogPluginState(150) - Plugin <Shopping List>:True
2010-05-05 19:26:09,294 [1     ] INFO  Framework.PluginManager.LogPluginState(150) - Plugin <Teeth>:True
2010-05-05 19:26:09,294 [1     ] INFO  Framework.PluginManager.LogPluginState(150) - Plugin <Scanner>:True
2010-05-05 19:26:09,294 [1     ] INFO  Framework.PluginManager.LogPluginState(150) - Plugin <Value Comparison>:True
2010-05-05 19:26:09,294 [1     ] INFO  Framework.PluginManager.LogPluginState(150) - Plugin <Lotus Notes CRM>:True
2010-05-05 19:26:09,295 [1     ] INFO  Framework.PluginManager.LogPluginState(150) - Plugin <Salesforce.com>:False
2010-05-05 19:26:09,295 [1     ] INFO  Framework.PluginManager.LogPluginState(150) - Plugin <Lotus Notes Mail>:True
2010-05-05 19:26:09,295 [1     ] INFO  Framework.PluginManager.LogPluginState(150) - Plugin <Sales Leads>:True
2010-05-05 19:26:09,295 [1     ] INFO  Framework.PluginManager.LogPluginState(150) - Plugin <Configurator>:True
2010-05-05 19:26:09,297 [1     ] INFO  Application.App.OnShowLoginMessage(194) - Validating Database...
2010-05-05 19:26:10,342 [1     ] INFO  Application.App.OnShowLoginMessage(194) - Validating Database...
2010-05-05 19:26:10,489 [1     ] INFO  Application.App.OnShowLoginMessage(194) - Loading Global Handlers...
2010-05-05 19:26:10,495 [1     ] INFO  Application.App.OnShowLoginMessage(194) - Starting Main Window...
2010-05-05 19:26:10,496 [1     ] INFO  Application.App.OnShowLoginMessage(194) - Initializing Components...
2010-05-05 19:26:11,145 [1     ] INFO  Application.App.OnShowLoginMessage(194) - Restoring Location...
2010-05-05 19:26:11,164 [1     ] INFO  Application.App.OnShowLoginMessage(194) - Loading Plug Ins...
2010-05-05 19:26:11,169 [1     ] INFO  Application.App.OnShowLoginMessage(194) - Loading Panels...Order Manager
2010-05-05 19:26:11,181 [1     ] INFO  Application.App.OnShowLoginMessage(194) - Loading Orders...
2010-05-05 19:26:11,274 [1     ] INFO  Application.App.OnShowLoginMessage(194) - Done Loading 1 Order
2010-05-05 19:26:11,314 [1     ] INFO  Application.App.OnShowLoginMessage(194) - Loading Panels...All Products
2010-05-05 19:26:11,471 [1     ] INFO  Application.App.OnShowLoginMessage(194) - Loading Tabbed Areas...Purchase History Data
2010-05-05 19:26:11,545 [1     ] INFO  Application.App.OnShowLoginMessage(194) - Loading Tabbed Areas...Shopping List
2010-05-05 19:26:11,597 [1     ] INFO  Application.App.OnShowLoginMessage(194) - Loading Tabbed Areas...Teeth
2010-05-05 19:26:11,768 [1     ] INFO  Application.App.OnShowLoginMessage(194) - Loading Tabbed Areas...Scanner
2010-05-05 19:26:11,810 [1     ] INFO  Application.App.OnShowLoginMessage(194) - Loading Tabbed Areas...Value Comparison
2010-05-05 19:26:11,840 [1     ] INFO  Application.App.OnShowLoginMessage(194) - Loading Tabbed Areas...Sales Leads
2010-05-05 19:26:11,922 [1     ] INFO  Application.App.OnShowLoginMessage(194) - Loading Tabbed Areas...(Done!)
2010-05-05 19:26:11,923 [1     ] INFO  Application.App.OnShowLoginMessage(194) - Adding Handlers...
2010-05-05 19:26:11,925 [1     ] INFO  Application.App.OnShowLoginMessage(194) - Loading Main Window Handlers...
2010-05-05 19:26:11,932 [1     ] INFO  Application.App.OnShowLoginMessage(194) - Loading Main Menu...
2010-05-05 19:26:11,949 [1     ] INFO  Application.App.OnShowLoginMessage(194) - Initialization Complete.
2010-05-05 19:26:13,662 [1     ] INFO  Framework.ProductSearch.Search(342) - User entered term: <>

Я бы хотел иметь возможность анализировать эти журналы на стороне сервера (либо когда они загружены, либо ночью) для извлечения исключений (которые всегда регистрируются в ОШИБКЕ или ФАТАЛЬНОМ) или других конкретных сообщений журнала, таких как: 

2010-05-05 20:05:24,951 [1     ] INFO  Framework.ProductSearch.Search(342) - User entered term: <kavo>

чтобы получить термин 'kavo', чтобы мы могли узнать, что люди действительно ищут.

Я пытался разобрать текст вручную (используя String.Split () и аналогичные методы), но на самом деле мне кажется, что я заново изобретаю колесо.

Есть ли хорошая библиотека для такого извлечения журналов?

Ответы [ 4 ]

4 голосов
/ 15 июля 2010

Вы можете использовать Microsoft Log Parser ( Скачать здесь ). Инструмент также предоставляет интерфейс COM, который позволит вам получить программный доступ к результатам. В этом сообщении в блоге есть небольшая (частичная) инструкция для этого с версией 2.1.

Так что теперь вместо того, чтобы чувствовать, что оно заново изобретает колесо, вы, вероятно, чувствуете, что оно чрезмерно спроектировано. ;)

1 голос
/ 17 ноября 2010

В итоге мы просто вывели XML в качестве формата журнала, и анализ стал тривиальным.

0 голосов
/ 15 июля 2010

может log4net не читать свои собственные шаблоны формата? После того, как он снова прочитает формат, вы не сможете разобрать только раздел% message%?

Лучший вопрос, возможно, почему вы не просто записываете этот поисковый запрос в базу данных в то же время, когда выполняете вызов журнала, или получаете другой файл журнала через log4net, который просто записывает% message% и все, что вы пишете в этот журнал такое поисковый термин? Я действительно не думаю, что вы хотите анализировать логи, если можете избежать этого ... по крайней мере, в будущем.

0 голосов
/ 15 июля 2010

Это похоже на типичный случай .NET регулярных выражений

Таким образом, вы можете искать шаблоны типа «Пользователь ввел термин:». Вы можете извлечь групповой матч впоследствии

...