разбитый файл разбора IIS logfile - PullRequest
2 голосов
/ 07 февраля 2012

Я использую Splunk для разбора лог-файлов IIS с нескольких серверов, все серверы имеют одинаковые настройки полей в IIS, и все серверы работают под управлением одной и той же версии сервера Windows 2003.Тем не менее, spunk помечает исходный тип этих файлов журнала для «iis», «iis-2» или «iis-3» ... даже с того же сервера.Кажется, я не могу найти шаблон.Как удостовериться, что тег spunk использует все файлы журнала одного типа?

Другой вопрос заключается в том, что для некоторых файлов журнала splunk автоматически извлекает все ключ / значение в полях строки запроса, а не для некоторых файлов журнала ...Я хотел бы иметь разбор, чтобы разобрать ключ / значение строки запроса во время индекса, чтобы он был быстрым во время поиска.

кто-нибудь поможет?

Спасибо

Ответы [ 2 ]

4 голосов
/ 04 апреля 2012

Журналы IIS очень легко разбить на части, но вы должны указать, в каком формате они хранятся (поскольку вы можете изменить формат журналов).Вот пример для вас.

В файле input.conf ($ SPLUNK_HOME \ etc \ system \ local \ input.conf) добавьте раздел, подобный этому:

[monitor://C:\inetpub\logs\LogFiles\W3SVC1\*.log]
sourcetype=MSWindows:2008R2:IIS
queue=parsingQueue
index=msexchange
disabled=false

В подпорках.conf ($ SPLUNK_HOME \ etc \ system \ local \ props.conf), добавьте следующий раздел:

[MSWindows:2008R2:IIS]
TZ = GMT
SHOULD_LINEMERGE = false
CHECK_FOR_HEADER = false
REPORT-fields = mswin_2008r2_iis_fields
TRANSFORMS-comments = ignore_comments

Наконец, нам нужно определить два преобразования в transforms.conf (который находится в $ SPLUNK_HOME\ etc \ system \ local \ transforms.conf) следующим образом:

[ignore_comments]
REGEX = ^#.*
DEST_KEY = queue
FORMAT = nullQueue

[mswin_2008r2_iis_fields]
FIELDS = "date","time","s_ip","cs_method","cs_uri_stem","cs_uri_query","s_port","cs_username","c_ip","cs_user_agent","sc_status","sc_substatus","sc_win32_status","time_taken"
DELIMS = " "

Формат полей mswin_2008r2_iis_fi берется из верхней части файла журнала IIS.Это (надеюсь, очевидно) для журналов IIS по умолчанию из Windows Server 2008 R2.Расположение и формат менялись от версии к версии, плюс вы можете изменять как расположение, так и формат для каждого хоста.

Для получения дополнительной информации об этих файлах конфигурации см. Документацию - в свободном доступе на http://docs.splunk.com

0 голосов
/ 31 января 2015

Splunk будет автоматически распознавать многие виды источников данных, называемых «исходными типами» в Splunk, и если вы не скажете Splunk, какой конкретный «исходный тип» использовать, он создаст новый исходный тип и назовет его в зависимости от того, какой тип источника он думает, что это соответствует. Чтобы эта функция не смешивала разные исходные типы, Splunk создаст новый тип с добавленным порядковым номером. Вот почему вы видите "iis-2", "iis-3" и т. Д. Вам следует либо выбрать тип источника «iis» при создании новых входных данных, если он соответствует вашим данным, либо создать новый тип источника «iis-что угодно» для ваших данных.

...