Журнал доступа IIS к нормализации SQL

Question

Я ищу вставку журнала доступа IIS 6.0 (5 серверов и более 400 МБ ежедневно) к базе данных SQL. Что меня пугает, так это размер. Существует много информации, которую вы дублируете (например, имя сайта, URL, реферер, браузер), и которую можно нормализовать по индексу и справочной таблице.

Причина, по которой я ищу собственную базу данных, а не использую другие инструменты, состоит в том, что это 5 серверов, и мне нужна очень индивидуальная статистика и отчеты по каждому, нескольким или всем. Кроме того, установка любого (специально открытого) программного обеспечения является резней (необходимо иметь функциональность 125% и занимать месяцы).

Я думаю, что было бы наиболее эффективным способом сделать это? Кто-то видел примеры или статьи об этом?

Answer 1

С одной стороны, вы значительно сократите место на диске для значений, используя искусственные ключи для таких вещей, как IP-адрес сервера, пользовательский агент и реферер.Часть сэкономленного вами пространства будет потеряна для индекса, но общая экономия диска на 400 МБ в день, умноженная на 5 серверов, все равно должна быть значительной.

Конечно, компромиссом является необходимость использованияобъединяет, чтобы объединить эту информацию для составления отчетов.

Мой козырь в том, что замена значений одного столбца искусственным ключом в таблицу поиска из двух столбцов не должна называться "нормализацией".Вы можете сделать это без определения каких-либо функциональных зависимостей.(Я не уверен, что вы предлагаете это сделать, но звучит так.)

Вы просматриваете около 12 концертов в месяц в виде необработанных данных, верно?Рассматривали ли вы подход к нему с точки зрения хранилища данных?(Вместо точки зрения OLTP.)

Answer 2

Хотя я бы посоветовал купить приличный инструмент для анализа журналов, если вы настаиваете на том, чтобы использовать его самостоятельно, взгляните на Log Parser

http://www.microsoft.com/downloads/en/details.aspx?FamilyID=890cd06b-abf8-4c25-91b2-f8d975cf8c07&displaylang=en

, чтобы помочь вам сделать некоторые тяжелые списки, либо в SQL, либо, возможно, он может получить результаты, которые вы после непосредственно.