Как реализовать долгосрочную статистику и кратковременный журнал? - PullRequest
Новая
       21

Как реализовать долгосрочную статистику и кратковременный журнал?

2 голосов
/ 13 декабря 2010

Мы разрабатываем более масштабное веб-приложение для баз данных с Perl Catalyst и PostgreSQL под Linux. Пользователи могут входить в систему, загружать и скачивать файлы данных (научные измерения).

Интересно, как реализовать систему регистрации / статистики.

  1. Нам необходимо просмотреть общие тенденции доступа и проанализировать трафик, вызванный определенными пользователями / IP-адресами, и получить номера доступа для определенных файлов или тем. Я думал о чем-то вроде RRDtool для реализации этого или записи общих чисел в другую таблицу базы данных. Было бы неплохо получить некоторые визуальные графики из данных доступа: -)

  2. Кроме того, нам необходимо детально проанализировать активность за последние дни. Если возникли проблемы или атаки, их следует понять и отменить. ИМО для этого нужен журнал действий в таблице базы данных.

Можете ли вы дать мне вдохновение о том, как реализовать эти вещи? Я хотел бы использовать одну и ту же систему для ведения журнала и долгосрочной статистики. Может быть, мы можем накопить данные журнала после периода, например, 7 дней. Не то чтобы я понятия не имел, как это сделать, но я хотел бы услышать мнение другого человека.

Подсказки для полезных модулей CPAN приветствуются. Мы знаем и уже используем log4perl, но это слишком детально, чтобы хранить его в течение ~ 7 дней ...

1 Ответ

0 голосов
/ 26 февраля 2011

На самом деле, я думаю, что вы ответили сами, RRDTool довольно хорош для долгосрочного использования, я использую его для автоматического считывания 1/2-часового счетчика для коммунальной котельной с окном 3 года. Хорошие графики тоже.

Тем не менее, я предполагаю, что все это выполняется на веб-сервере, а при загрузке и загрузке создаются [например] записи файла журнала Apache, тогда у вас есть множество вариантов с этим: http://httpd.apache.org/docs/current/mod/mod_log_config.html.

Это будет означать, что вы можете использовать Webalizer для «рутинных» отчетов и писать по собственному усмотрению для деталей, возможно, начиная с: http://search.cpan.org/~ulpfr/Logfile-0.302/Logfile.pod

Надеюсь, это немного полезно, хотя это широкий и широкий вопрос.

...