Ход выполнения при копировании большого файла (Copy-Item & Write-Progress?) - PullRequest
Новая
       11

Ход выполнения при копировании большого файла (Copy-Item & Write-Progress?)

52 голосов
/ 12 марта 2010

Есть ли способ скопировать действительно большой файл (с одного сервера на другой) в PowerShell и показать его ход?

Существуют решения для использования Write-Progress в сочетании с циклом для копирования множества файлов и отображения прогресса. Однако я не могу найти ничего, что показывало бы прогресс одного файла.

Есть мысли?

Ответы [ 10 ]

78 голосов
/ 09 сентября 2014

Похоже, что гораздо лучше использовать BitsTransfer, но на большинстве компьютеров с Windows, использующих PowerShell 2.0 или более позднюю версию, это OOTB. 

Import-Module BitsTransfer
Start-BitsTransfer -Source $Source -Destination $Destination -Description "Backup" -DisplayName "Backup"
44 голосов
/ 13 марта 2010

Я не слышал о прогрессе с Copy-Item. Если вы не хотите использовать какой-либо внешний инструмент, вы можете поэкспериментировать с потоками. Размер буфера варьируется, вы можете попробовать разные значения (от 2 до 64 КБ). 

function Copy-File {
    param( [string]$from, [string]$to)
    $ffile = [io.file]::OpenRead($from)
    $tofile = [io.file]::OpenWrite($to)
    Write-Progress -Activity "Copying file" -status "$from -> $to" -PercentComplete 0
    try {
        [byte[]]$buff = new-object byte[] 4096
        [int]$total = [int]$count = 0
        do {
            $count = $ffile.Read($buff, 0, $buff.Length)
            $tofile.Write($buff, 0, $count)
            $total += $count
            if ($total % 1mb -eq 0) {
                Write-Progress -Activity "Copying file" -status "$from -> $to" `
                   -PercentComplete ([int]($total/$ffile.Length* 100))
            }
        } while ($count -gt 0)
    }
    finally {
        $ffile.Dispose()
        $tofile.Dispose()
        Write-Progress -Activity "Copying file" -Status "Ready" -Completed
    }
}
22 голосов
/ 13 июля 2012

Альтернативно, эта опция использует встроенный индикатор хода выполнения Windows ... 

$FOF_CREATEPROGRESSDLG = "&H0&"

$objShell = New-Object -ComObject "Shell.Application"

$objFolder = $objShell.NameSpace($DestLocation) 

$objFolder.CopyHere($srcFile, $FOF_CREATEPROGRESSDLG)
15 голосов
/ 05 января 2015 
cmd /c copy /z src dest

не чистый PowerShell, а исполняемый в PowerShell и отображает прогресс в процентах

14 голосов
/ 01 декабря 2012

Я исправил код из stej (что было здорово, именно то, что мне нужно!), Чтобы использовать больший буфер, [long] для больших файлов и использовал класс System.Diagnostics.Stopwatch для отслеживания истекшего времени и оценки оставшегося времени.

Также добавлены отчеты о скорости передачи во время передачи и вывод общего истекшего времени и общей скорости передачи.

Использование 4 МБ (4096 * 1024 байт) буфера для лучшей производительности, чем копирование с собственной пропускной способностью Win7 с NAS на USB-накопитель на ноутбуке по Wi-Fi.

В списке дел:

  • добавить обработку ошибок (catch)
  • обрабатывать список файлов get-childitem как входные данные
  • вложенные индикаторы выполнения при копировании нескольких файлов (файл x of y,% if общее количество скопированных данных и т. д.)
  • входной параметр для размера буфера

Не стесняйтесь использовать / улучшать: -) 

function Copy-File {
param( [string]$from, [string]$to)
$ffile = [io.file]::OpenRead($from)
$tofile = [io.file]::OpenWrite($to)
Write-Progress `
    -Activity "Copying file" `
    -status ($from.Split("\")|select -last 1) `
    -PercentComplete 0
try {
    $sw = [System.Diagnostics.Stopwatch]::StartNew();
    [byte[]]$buff = new-object byte[] (4096*1024)
    [long]$total = [long]$count = 0
    do {
        $count = $ffile.Read($buff, 0, $buff.Length)
        $tofile.Write($buff, 0, $count)
        $total += $count
        [int]$pctcomp = ([int]($total/$ffile.Length* 100));
        [int]$secselapsed = [int]($sw.elapsedmilliseconds.ToString())/1000;
        if ( $secselapsed -ne 0 ) {
            [single]$xferrate = (($total/$secselapsed)/1mb);
        } else {
            [single]$xferrate = 0.0
        }
        if ($total % 1mb -eq 0) {
            if($pctcomp -gt 0)`
                {[int]$secsleft = ((($secselapsed/$pctcomp)* 100)-$secselapsed);
                } else {
                [int]$secsleft = 0};
            Write-Progress `
                -Activity ($pctcomp.ToString() + "% Copying file @ " + "{0:n2}" -f $xferrate + " MB/s")`
                -status ($from.Split("\")|select -last 1) `
                -PercentComplete $pctcomp `
                -SecondsRemaining $secsleft;
        }
    } while ($count -gt 0)
$sw.Stop();
$sw.Reset();
}
finally {
    write-host (($from.Split("\")|select -last 1) + `
     " copied in " + $secselapsed + " seconds at " + `
     "{0:n2}" -f [int](($ffile.length/$secselapsed)/1mb) + " MB/s.");
     $ffile.Close();
     $tofile.Close();
    }
}
9 голосов
/ 12 марта 2010

Не то, чтобы я знал. Я бы не рекомендовал использовать для этого copy-item. Я не думаю, что он был разработан, чтобы быть надежным, как robocopy.exe, для поддержки повторных попыток, которые вы хотели бы для очень больших копий файлов по сети.

1 голос
/ 21 августа 2017

Эта рекурсивная функция рекурсивно копирует файлы и каталоги из исходного пути в путь назначения.

Если файл уже существует в пути назначения, она копирует их только с более новыми файлами. 

Function Copy-FilesBitsTransfer(
        [Parameter(Mandatory=$true)][String]$sourcePath, 
        [Parameter(Mandatory=$true)][String]$destinationPath, 
        [Parameter(Mandatory=$false)][bool]$createRootDirectory = $true)
{
    $item = Get-Item $sourcePath
    $itemName = Split-Path $sourcePath -leaf
    if (!$item.PSIsContainer){ #Item Is a file

        $clientFileTime = Get-Item $sourcePath | select LastWriteTime -ExpandProperty LastWriteTime

        if (!(Test-Path -Path $destinationPath\$itemName)){
            Start-BitsTransfer -Source $sourcePath -Destination $destinationPath -Description "$sourcePath >> $destinationPath" -DisplayName "Copy Template file" -Confirm:$false
            if (!$?){
                return $false
            }
        }
        else{
            $serverFileTime = Get-Item $destinationPath\$itemName | select LastWriteTime -ExpandProperty LastWriteTime

            if ($serverFileTime -lt $clientFileTime)
            {
                Start-BitsTransfer -Source $sourcePath -Destination $destinationPath -Description "$sourcePath >> $destinationPath" -DisplayName "Copy Template file" -Confirm:$false
                if (!$?){
                    return $false
                }
            }
        }
    }
    else{ #Item Is a directory
        if ($createRootDirectory){
            $destinationPath = "$destinationPath\$itemName"
            if (!(Test-Path -Path $destinationPath -PathType Container)){
                if (Test-Path -Path $destinationPath -PathType Leaf){ #In case item is a file, delete it.
                    Remove-Item -Path $destinationPath
                }

                New-Item -ItemType Directory $destinationPath | Out-Null
                if (!$?){
                    return $false
                }

            }
        }
        Foreach ($fileOrDirectory in (Get-Item -Path "$sourcePath\*"))
        {
            $status = Copy-FilesBitsTransfer $fileOrDirectory $destinationPath $true
            if (!$status){
                return $false
            }
        }
    }

    return $true
}
0 голосов
/ 05 апреля 2019

Ненавижу быть тем, кто поднимает старую тему, но я нашел этот пост чрезвычайно полезным. После выполнения тестов производительности на фрагментах от stej и его уточнения Грэмом Голдом, а также предложением Nacht от BITS я понял, что:

  1. Мне действительно понравилась команда Грэма с оценками времени и показаниями скорости.
  2. Мне также действительно понравилось значительное увеличение скорости использования битов в качестве моего метода передачи.

Столкнулся с решением между двумя ... Я обнаружил, что Start-BitsTransfer поддерживает асинхронный режим. Итак, вот результат моего слияния двух. 

function Copy-File {
    param([string]$from, [string]$to)

    try {
        $job = Start-BitsTransfer -Source $from -Destination $to `
                   -Description "Moving: $from => $to" `
                   -DisplayName "Backup" -Asynchronous

        # Start stopwatch
        $sw = [System.Diagnostics.Stopwatch]::StartNew()
        Write-Progress -Activity "Connecting..."

        while ($job.JobState.ToString() -ne "Transferred") {
            switch ($job.JobState.ToString()) {
                "Connecting" {
                    break
                }
                "Transferring" {
                    $pctcomp = ($job.BytesTransferred / $job.BytesTotal) * 100
                    $elapsed = ($sw.elapsedmilliseconds.ToString()) / 1000

                    if ($elapsed -eq 0) {
                        $xferrate = 0.0
                    } else {
                        $xferrate = (($job.BytesTransferred / $elapsed) / 1mb);
                    }

                    if ($job.BytesTransferred % 1mb -eq 0) {
                        if ($pctcomp -gt 0) {
                            $secsleft = ((($elapsed / $pctcomp) * 100) - $elapsed)
                        } else {
                            $secsleft = 0
                        }

                        Write-Progress -Activity ("Copying file '" + ($PathName.Split("\") | Select -last 1) + "' @ " + "{0:n2}" -f $xferrate + "MB/s") `
                                       -PercentComplete $pctcomp `
                                       -SecondsRemaining $secsleft
                    }
                    break
                }
                "Transferred" {
                    break
                }
                Default {
                    throw $job.JobState.ToString() + " unexpected BITS state."
                }
            }
        }

        $sw.Stop()
        $sw.Reset()
    } finally {
        Complete-BitsTransfer -BitsJob $job
        Write-Progress -Activity "Completed" -Completed
    }
}
0 голосов
/ 09 января 2018

Шон Кирни из Эй, сценарист! У блога есть решение, которое я нашел, работает очень хорошо. 

Function Copy-WithProgress
{
    [CmdletBinding()]
    Param
    (
        [Parameter(Mandatory=$true,
            ValueFromPipelineByPropertyName=$true,
            Position=0)]
        $Source,
        [Parameter(Mandatory=$true,
            ValueFromPipelineByPropertyName=$true,
            Position=0)]
        $Destination
    )

    $Source=$Source.tolower()
    $Filelist=Get-Childitem "$Source" –Recurse
    $Total=$Filelist.count
    $Position=0

    foreach ($File in $Filelist)
    {
        $Filename=$File.Fullname.tolower().replace($Source,'')
        $DestinationFile=($Destination+$Filename)
        Write-Progress -Activity "Copying data from '$source' to '$Destination'" -Status "Copying File $Filename" -PercentComplete (($Position/$total)*100)
        Copy-Item $File.FullName -Destination $DestinationFile
        $Position++
    }
}

Затем использовать его: 

Copy-WithProgress -Source $src -Destination $dest
0 голосов
/ 20 апреля 2016

Тревор Салливан имеет описание того, как добавить команду с именем Copy-ItemWithProgress в PowerShell в Robocopy.

...