Автоматизированный скрипт для архивирования журналов IIS?

Question

Я хотел бы написать скрипт / пакет, который будет собирать мои ежедневные журналы IIS и архивировать их по месяцам.

ex080801.log в формате ex гггмм .log

ex080801.log - ex080831.log архивируется, а файлы журналов удаляются.

Причина, по которой мы это делаем, заключается в том, что на тяжелом сайте файл журнала за один день может иметь размер от 500 МБ до 1 ГБ, поэтому мы сжимаем их, что сжимает их на 98% и выводит реальный файл журнала. Мы используем webtrend для анализа файлов журналов, и он способен читать в zip-файле.

У кого-нибудь есть идеи о том, как это написать, или он хотел бы поделиться каким-то кодом?

Answer 1

Вам понадобится инструмент командной строки для архивирования файлов. Я рекомендую 7-Zip , который является бесплатным и простым в использовании. Самостоятельная версия командной строки (7za.exe) является наиболее переносимым выбором.

Вот пакетный файл, состоящий из двух строк, который заархивирует файлы журнала и впоследствии удалит их:

7za.exe a -tzip ex%1-logs.zip %2\ex%1*.log
del %2\ex%1*.log

Первый параметр - это четырехзначный год и месяц, а второй параметр - это путь к каталогу, содержащему ваши журналы. Например: ziplogs.bat 0808 c:\logs

Можно получить более подробную информацию (т. Е. Искать имена файлов, чтобы определить, какие месяцы архивировать). Возможно, вы захотите проверить команду Windows FINDSTR для поиска входного текста с помощью регулярных выражений.

Answer 2

Вот мой сценарий, который в основном адаптирует записи Дэвида, архивирует журналы прошлого месяца, перемещает их и удаляет исходные файлы журнала. это также может быть адаптировано для журналов Apache. Единственная проблема заключается в том, что вам может потребоваться отредактировать команды замены, если ваша функция даты DOS выводит дату недели. Вам также нужно будет установить 7-zip.

Вы также можете загрузить IISlogslite, но он сжимает файл каждого дня в один zip-файл, который я не нашел полезным. В Интернете есть vbscript, который делает то же самое.

-------------------------------------------------------------------------------------
@echo on

:: Name - iislogzip.bat
:: Description - Server Log File Manager
::
:: History
:: Date         Authory      Change
:: 27-Aug-2008  David Crow   Original (found on stack overflow)
:: 15-Oct-2008  AIMackenzie  Slimmed down commands


:: ========================================================
:: setup variables and parameters
:: ========================================================
:: generate date and time variables

set month=%DATE:~3,2%
set year=%DATE:~8,2%

::Get last month and check edge conditions

set /a lastmonth=%month%-1
if %lastmonth% equ 0 set /a year=%year%-1
if %lastmonth% equ 0 set lastmonth=12
if %lastmonth% lss 10 set lastmonth=0%lastmonth%

set yymm=%year%%lastmonth%

set logpath="C:\WINDOWS\system32\LogFiles"
set zippath="C:\Program Files\7-Zip\7z.exe"
set arcpath="C:\WINDOWS\system32\LogFiles\WUDF"


:: ========================================================
:: Change to log file path
:: ========================================================
cd /D %logpath%

:: ========================================================
:: zip last months IIS log files, move zipped file to archive 
:: then delete old logs
:: ========================================================
%zippath% a -tzip ex%yymm%-logs.zip %logpath%\ex%yymm%*.log
move "%logpath%\*.zip" "%arcpath%"
del %logpath%\ex%yymm%*.log

Answer 3

Мы используем скрипт, подобный следующему. Gzip из проекта cygwin. Я уверен, что вы могли бы изменить синтаксис, чтобы вместо этого использовать инструмент zip. Аргумент "пропустить" - это количество файлов, которые не подлежат архивированию - мы сохраняем 11 дней в текущем каталоге.

@echo off
setlocal
For /f "skip=11 delims=/" %%a in ('Dir D:\logs\W3SVC1\*.log /B /O:-N /T:C')do move "D:\logs\W3SVC1\%%a" "D:\logs\W3SVC1\old\%%a"
d:
cd "\logs\W3SVC1\old"
gzip -n *.log
Endlocal
exit

Answer 4

Мы используем этот скрипт powershell: http://gallery.technet.microsoft.com/scriptcenter/31db73b4-746c-4d33-a0aa-7a79006317e6

Использует 7-zip и проверяет файлы перед их удалением

Answer 5

Заимствованная функция почтового индекса от http://blogs.msdn.com/daiken/archive/2007/02/12/compress-files-with-windows-powershell-then-package-a-windows-vista-sidebar-gadget.aspx

Вот ответ PowerShell, который творит чудеса:

param([string]$Path = $(read-host "Enter the path"))
function New-Zip
{
    param([string]$zipfilename)
    set-content $zipfilename ("PK" + [char]5 + [char]6 + ("$([char]0)" * 18))
    (dir $zipfilename).IsReadOnly = $false
}
function Add-Zip
{
    param([string]$zipfilename)

    if(-not (test-path($zipfilename)))
    {
        set-content $zipfilename ("PK" + [char]5 + [char]6 + ("$([char]0)" * 18))
        (dir $zipfilename).IsReadOnly = $false  
    }

    $shellApplication = new-object -com shell.application
    $zipPackage = $shellApplication.NameSpace($zipfilename)

    foreach($file in $input) 
    { 
            $zipPackage.CopyHere($file.FullName)
            Start-sleep -milliseconds 500
    }
}
$FilesToZip = dir $Path -recurse -include *.log
foreach ($file in $FilesToZip) {
New-Zip $file.BaseName
dir $($file.directoryname+"\"+$file.name) | Add-zip $($file.directoryname+"\$($file.basename).zip")
del $($file.directoryname+"\"+$file.name)
}

Answer 6

Вы можете получить пакет утилит командной строки из DotNetZip , чтобы получить инструменты для создания архивов из сценариев. Есть хороший инструмент под названием Zipit.exe, который запускается из командной строки, добавляет файлы или каталоги в zip-файлы. Это быстро, эффективно.

Лучшим вариантом может быть просто выполнить архивирование из PowerShell.

function ZipUp-Files ( $directory )
{

  $children = get-childitem -path $directory
  foreach ($o in $children) 
  {
    if ($o.Name -ne "TestResults" -and 
        $o.Name -ne "obj" -and 
        $o.Name -ne "bin" -and 
        $o.Name -ne "tfs" -and 
        $o.Name -ne "notused" -and 
        $o.Name -ne "Release")
    {
      if ($o.PSIsContainer)
      {
        ZipUp-Files ( $o.FullName )
      }
      else 
      {
        if ($o.Name -ne ".tfs-ignore" -and
           !$o.Name.EndsWith(".cache") -and
           !$o.Name.EndsWith(".zip") )
        {
          Write-output $o.FullName
          $e= $zipfile.AddFile($o.FullName)
        }
      }
    }
  }
}


[System.Reflection.Assembly]::LoadFrom("c:\\\bin\\Ionic.Zip.dll");

$zipfile =  new-object Ionic.Zip.ZipFile("zipsrc.zip");

ZipUp-Files "DotNetZip"

$zipfile.Save()

Answer 7

Regex сделает свое дело ... создайте сценарий perl / python / php, чтобы сделать эту работу за вас ..
Я почти уверен, что пакетный файл Windows не может выполнять регулярные выражения.