Как преобразовать файл журнала IIS W3C в CSV? - PullRequest
Новая
       66

Как преобразовать файл журнала IIS W3C в CSV?

0 голосов
/ 27 ноября 2018

Я хочу проанализировать файл журнала IIS (в формате W3C) в файл CSV или XLS в PowerShell или C #.

Попробовать С помощью этого кода в PowerShell: 

$LogFolder = "C:\iislog\"
$LogFiles = [System.IO.Directory]::GetFiles($LogFolder, "*.log")
$LogTemp = "C:\iislog\end.csv"
# Logs will store each line of the log files in an array
$Logs = @()
# Skip the comment lines
$LogFiles | % { Get-Content $_ | where {$_ -notLike "#[D,F,S,V]*" } | % { $Logs += $_ } }

# Then grab the first header line, and adjust its format for later
$LogColumns = ( $LogFiles | select -first 6 | % { Get-Content $_ | where {$_ -Like "#[F]*" } } ) `
              -replace "#Fields: ", "" -replace "-","" -replace "\(","" -replace "\)",""

 # Temporarily, store the reformatted logs
Set-Content -LiteralPath $LogTemp -Value ( [System.String]::Format("{0}{1}{2}", $LogColumns, [Environment]::NewLine, ( [System.String]::Join( [Environment]::NewLine, $Logs) ) ) )
 # Read the reformatted logs as a CSV file
$Logs = Import-Csv -Path $LogTemp -Delimiter " "
 # Sample query : Select all unique users
$Logs | select -Unique csusername

Но этокод, а не разделитель столбцов и распечатать каждую строку в один столбец в CSV (при открытии end.csv с Excel).

Как я могу решить эту проблему?

Я хочу, чтобы столбцы отделялись друг от друга в выходном файле.

1 Ответ

0 голосов
/ 27 ноября 2018

Мой быстрый и грязный подход к чтению этих журналов в PowerShell использует пользовательскую функцию.В основном это просто вопрос использования ConvertFrom-CSV и манипулирования первыми несколькими строками формата файла журнала IIS для удовлетворения ожиданий командлетов. 

function ConvertIISLogFrom-CSV{

    [cmdletbinding()]
    param(
        [parameter(ValueFromPipelineByPropertyName=$true, Mandatory=$true)]
        [Alias("FullName")]
        [string]$File
    )
    process{
        Get-Content $file |  Where-Object{$_ -notmatch "^#[DSV]"} | ForEach-Object{$_ -replace '^#Fields: '} | ConvertFrom-Csv -Delimiter " "
    }
}

Get-ChildItem $path -Filter "ex*" | 
    Sort-Object creationdate -Descending | 
    Select -Last 1  |
    ConvertIISLogFrom-CSV | 
    Where-Object {$_."cs-username" -eq "username" -and $_."x-fullpath" -like "*error*"} |
    Select-Object date,time,"c-ip","cs-username","x-session","x-fullpath" |
    Format-Table -AutoSize

Командлет будет считывать файл и эффективно отбрасывать первые несколькостроки комментариев.Мы намеренно оставляем строку #fields от начального фильтра, поскольку она содержит заголовок столбца.После того, как мы просто избавимся от #fields, что оставляет нам правильный формат CSV.

Используя вышеизложенное, вы можете просто изменить $path на местоположение, содержащее журналы.Далее следует пример, демонстрирующий интеграцию с другими фильтрами PowerShell и командлетами.

Поскольку мы создаем объекты PowerShell, вы можете использовать любые параметры экспорта, которые вам нравятся, с данными.Труба в Export-CSV, и вы готовы идти.

...