Анализатор логов для не веб-приложений

Question

Я искал какой-то инструмент для анализа файлов журналов в произвольном формате (например, мой собственный формат для моей собственной программы). Существует много инструментов, предназначенных для анализа журналов веб-трафика, но я не нашел подходящих инструментов для пользовательских файлов журналов. Я был бы счастлив найти такой, где я могу собрать, например, все временные метки и сделать выводы или графики на основе этого. Например, показать TPS (транзакций в секунду).

Я бы предпочел использовать бесплатные программы. По сути, это может быть любой анализатор данных, если он способен анализировать файлы журналов. Я написал бы собственную программу, если бы мне нужно было проанализировать только один тип файлов, но мне нужно было проанализировать широкий спектр файлов.

Я давно пытался найти подходящий инструмент в Google, но каждый анализатор, похоже, предназначен для веб-трафика.

Answer 1

С Log Parser вы получаете информацию простым SQL-запросом.

В строке cmd для использования текстового файла:

LogParser -i:textline "select * from 'c:\path\*.txt' where text like '%TEXT TO FIND%'"

или попробуйте с GUI .

Answer 2

Вы можете попробовать импортировать файл в электронную таблицу или приложение базы данных, например, Excel или Access.

Answer 3

на предыдущей работе я поддерживаю некоторые сценарии perl для обобщения данных этого типа и помещаю их в базу данных postgres .... затем использовал www.databeacon.com для анализа ... но после того, как вы получили информацию база данных может генерировать любые графики, которые вы хотите .....

Answer 4

Этот вопрос мне кажется немного более широким, но ваш единственный пример (график, использующий временные метки для вычисления / показа транзакций в секунду) кричит мне RRD .

Хотя это может помочь вам проанализировать и построить график ваших данных, оно довольно низкоуровневое и может потребовать некоторого объема работы на вашем сайте. Если у вас нет проблем с веб-приложениями, вы можете обратиться к Cacti , который основан на RRD и дает вам графический способ анализа ваших данных и настройки источников данных. Вам все еще , вероятно, нужно создать сценарии для извлечения данных по вашему выбору из файлов журналов / чего угодно, но вы получаете "GUI" бесплатно.

Итог: напишите несколько (g) скриптов awk / perl и используйте инструменты, подобные тем, что были упомянуты выше, и вам будет хорошо, если вы приложите немного усилий.