Использование сбора данных / статистики для мониторинга журналов - PullRequest
0 голосов
/ 18 февраля 2009

У меня есть большой набор файлов журналов, которые я хочу охарактеризовать или, возможно, добавить какое-то дерево решений или какую-то аналитику. Но я не знаю точно, что. Какой анализ вы провели с файлами журналов, с множеством файлов журналов.

Например, на данный момент я собираю, сколько запросов сделано для конкретной страницы для данного файла журнала.

Сервлет = 60 заявок Servlet2 = 70 запросов и т. Д.

Полагаю, тут только фильтр по самым популярным запросам. Кроме того, может сделать что-то вроде 60 запросов в течение 2 часов. 60/160 минут.

1 Ответ

3 голосов
/ 28 февраля 2009

Решение о том, какой анализ делать, зависит от того, какие решения вы пытаетесь принять на основе этого анализа. Например, в настоящее время я отслеживаю журналы на предмет исключений, о которых сообщает наше приложение (все исключения в клиентском приложении регистрируются на сервере), чтобы определить, какие именно клиентские ошибки должны быть приоритетными для расследования. Я также использую программное обеспечение для поиска в журнале для отслеживания любых исключений, о которых сообщает наше серверное программное обеспечение, которые могут потребовать более немедленного расследования. Помимо журналов, генерируемых всем, в любом случае, я также использую некоторое программное обеспечение для мониторинга, чтобы отслеживать использование нашего веб-сервера и сервера базы данных, который записывает статистику использования и т. Д. В базе данных. Конечная цель этого состоит в том, чтобы предсказать будущие уровни использования и приобрести больше оборудования в зависимости от ситуации, чтобы не отставать от спроса.

Два (бесплатных) инструмента, которые я использовал:

Hyperic для мониторинга, его довольно легко настроить, и он может начать регистрировать большое количество данных, которые могут вас заинтересовать, например, запросы в секунду на веб-сервере.

Splunk для поиска в файлах журналов, его очень легко настроить и использовать, и он дает вам отличные возможности поиска по файлам журналов. Если вы работаете с файлами журналов прямо сейчас и не попробовали Spunk, я определенно рекомендую это. Я заметил пару моментов, когда процессор использовался на 100%, когда он использовался на нашем главном рабочем сервере, поэтому недавно перестал запускать его на этом компьютере, просто предупреждение.

Не знаю, какова ваша цель в этом анализе, моя задача была в том, чтобы искать любые ошибки, о которых я должен знать, и планировать будущие потребности в мощности. Если вы заинтересованы в последнем, я бы также порекомендовал Искусство планирования мощностей .

...