Пакетирование данных перед прохождением через конвейер - PullRequest
Новая
       54

Пакетирование данных перед прохождением через конвейер

2 голосов
/ 21 апреля 2020

У меня есть куча файловых папок со многими миллионами файлов / папок. Я использую gci -Recurse, чтобы получить полный список каталогов / файлов на общем ресурсе, и мне нужно загрузить несколько фрагментов информации с этого gci на сервер SQL для дополнительного анализа. Команда, которую я использую для получения данных: 

gci $SharePath -Recurse | select FullName, Attributes, Length, CreationTimeUtc, LastAccessTimeUtc, LasWriteTimeUtc

Теперь я могу просто передать это на Write-SQLTableData, используя рекомендованный синтаксис для принудительной установки групповых вставок, как предложено в варианте 3 для Microsoft Write-SqlTableData страница документации , например: 

$Params = @{
    ServerInstance = 'sqlservername'
    DatabaseName = 'databasename'
    SchemaName = 'dbo'
}
,(gci $SharePath -Recurse | select FullName, Attributes, Length, CreationTimeUtc, LastAccessTimeUtc, LasWriteTimeUtc) | Write-SqlTableData @Params -TableName 'Table1'

Результатом этого, однако, является то, что gci занимает несколько часов, чтобы завершить работу без обратной связи и использовать много ГБ памяти и замедлить мой машина для сканирования, прежде чем, наконец, сбросить все данные в SQL. Если я опускаю ,( и соответствующий ), данные перемещаются в SQL по мере их генерирования, однако сервер SQL заполнен миллионами отдельных вставок.

What I ' m ищет промежуточный ответ, который использует конвейер. Я знаю, что могу сохранить результаты gci в переменной $gciresults, а затем передать 1000 строк за один раз SQL, используя $gciresults[0..999] и так далее, но я пытаюсь использовать конвейер, поэтому я не использую слишком много много памяти. В идеале, должен быть какой-нибудь командлет, который я назову batching-cmdlet, который позволил бы мне разбить входящие данные на куски размером в куски, не сохраняя их все в памяти, например, так: 

gci ... | select FullName, ... | batching-cmdlet -batchsize 1000 | Write-SqlTableData @Params -TableName 'Table1'

Ищет такой командлет оказался неудачным. У кого-нибудь есть мысли, как мне это сделать? 1028 *? 1022 *

Ответы [ 2 ]

1 голос
/ 21 апреля 2020

Используя структуру, описанную @ mklement0 в его принятом ответе, я написал следующий командлет Split-PipelineData, который принимает конвейерный ввод и передает его в нисходящем порядке в определяемых пользователем пакетах. Обратите внимание, оказывается, что это очень похоже на функцию в посте, связанном с @ mklement0, однако я также добавил возможность сообщать о прогрессе, используя write-progress. 

<#
.Synopsis
    Takes pipeline objects one at a time and sends them on in batches.
.DESCRIPTION
    Takes pipeline objects one at a time and sends them on in batches.  Allows user selectable values for
    batch size and feedback options.
#>
Function Split-PipelineData
{
    [CmdletBinding(DefaultParameterSetName='Default')]
    Param
    (
        # PipelineData
        [Alias('PipelineData')]
        [Parameter(ParameterSetName='Default',Mandatory=$true,ValueFromPipeline=$true,Position=0)]
        [Parameter(ParameterSetName='Progress',Mandatory=$true,ValueFromPipeline=$true,Position=0)]
        $InputObject,

        # Batch size for sending on to the pipeline
        [Parameter(ParameterSetName='Default',Mandatory=$false)]
        [Parameter(ParameterSetName='Progress',Mandatory=$false)]
        [int]$BatchSize=1000,

        # If set, Progress will use Write-Progress to display progress information
        [Parameter(ParameterSetName='Progress',Mandatory=$true)]
        [switch]$Progress,

        # Passthru to Write-Progress ID parameter
        [Parameter(ParameterSetName='Progress',Mandatory=$false)]
        [int]$ProgressID=0,

        # Passthru to Write-Progress ParentID parameter
        [Parameter(ParameterSetName='Progress',Mandatory=$false)]
        [int]$ProgressParentID=-1,

        # Passthru to Write-Progress Activity parameter. Default is 'Batching pipeline data'.
        [Parameter(ParameterSetName='Progress',Mandatory=$false)]
        [int]$ProgressActivity=$null,

        # Report progress after this many records.  Defaults to same as BatchSize
        [Parameter(ParameterSetName='Progress',Mandatory=$false)]
        [int]$ProgressBatchSize=$null,

        # Total Record count (if known) to be used in progress
        [Parameter(ParameterSetName='Progress',Mandatory=$false)]
        [int]$TotalRecords=$null
    )

    Begin
    {
        $Batch = [System.Collections.Generic.Queue[pscustomobject]]::new($BatchSize)
        [int64]$RecordCounter = 0
        If ($Progress)
        {
            $ProgressParams = @{
                Activity = If ($ProgressActivity) {$ProgressActivity} Else {'Batching pipeline data'}
                Status = ''
                ID = $ProgressID
                ParentID = $ProgressParentID
                PercentComplete = -1
            }
            If ($ProgressBatchSize -in $null,0) {$ProgressBatchSize = $BatchSize}
        }
    }
    Process
    {
        $RecordCounter++

        #Add record to batch
        $Batch.Enqueue($_)

        #Report progress if necessary
        If ($Progress -and $RecordCounter % $ProgressBatchSize-eq 0)
        {
            If ($TotalRecords)
            {
                $ProgressParams.Status = "Piping record $RecordCounter/$TotalRecords"
                $ProgressParams.PercentComplete = [int](100*($RecordCounter/$TotalRecords))
            }
            Else
            {
                $ProgressParams.Status = "Piping record $RecordCounter"
            }
            Write-Progress @ProgressParams
        }

        #Pass batch on if it has reached its threshhold
        if ($Batch.Count -eq $BatchSize)
        { 
            ,($Batch)
            $Batch.Clear() # start next batch
        }
    }
    End
    {
        #Report final progress if necessary
        If ($Progress)
        {
            If ($TotalRecords)
            {
                $ProgressParams.Status = "Piping record $RecordCounter/$TotalRecords"
                $ProgressParams.PercentComplete = [int](100)
            }
            Else
            {
                $ProgressParams.Status = "Piping record $RecordCounter"
            }
            Write-Progress @ProgressParams
        }

        #Pass remaining records on and clear variable
        ,($Batch)
        $Batch.Clear()
        Remove-Variable Batch

        #Clear progress bars if necessary
        If ($Progress)
        {
            $ProgressParams.Activity = 'Completed'
            If ($ProgressParams.ContainsKey('Status')) {$ProgressParams.Remove('Status')}
            Write-Progress @ProgressParams -Completed
        }
    }
}
1 голос
/ 21 апреля 2020

Начиная с PowerShell 7.0, к сожалению, нет механизма пакетирования (разделения).

Поэтому вам придется реализовать пакетирование для себя сейчас: 

# Create an aux. queue for batching the objects.
$batchSize = 1000
$batch = [System.Collections.Generic.Queue[pscustomobject]]::new($batchSize)

Get-ChildItem $SharePath -Recurse | 
  Select-Object FullName, Attributes, Length, CreationTimeUtc, LastAccessTimeUtc, LasWriteTimeUtc |
    ForEach-Object { 
      $batch.Enqueue($_) # add object to the batch
      if ($batch.Count -eq $batchSize) { # batch is full, write to table.
        # send batch as a whole through the pipeline
        , $batch | Write-SqlTableData @Params -TableName Table1
        $batch.Clear() # start next batch
      }
    }

# Process any remaining items.
if ($batch.Count) {
  , $batch | Write-SqlTableData @Params -TableName Table1
}
...