powershell: увеличить foreach l oop данные из csv-файла до xml выходного файла - PullRequest
0 голосов
/ 09 июля 2020

Не могли бы вы помочь мне реализовать счетчик для создания файла xml с несколькими элементами из csv внутри?

Вот файл csv

UCB63_DATENUM;U6618_FILENAME;UF6E8_CANAL;U65B8_IDRP
7/8/19 22:27;457E6659_ZN_LIQRLVPR_A_V_ML.pdf;ML;1367091
9/11/19 23:03;49453878_ZN_LIQRLVPR_A_V_ML.pdf;ML;106440
9/24/19 21:04;497E585B_ZN_LIQRLVPR_A_V_CS.pdf;CS;1536658
2/12/20 22:12;58453B75_ZN_LIQRLVPR_A_V_ML.pdf;ML;1406091

и код

Мой результат на экране хороший, но поскольку я не называю значение, его нельзя увеличить. И на данный момент у всех вещей, которые я пробовал, есть плохие проблемы (только последний результат выглядит как sh все остальные)

Помогите мне, пожалуйста

    #vARIABLES EN DUR
    $FREQUENCE_DECOMPTE     = 'Nom="FREQUENCE_DECOMPTE" Valeur="MENS"'
    $LIBELLE_ORGANISME      = 'Nom="LIBELLE_ORGANISME" Valeur="HUMANIS CCN OG"'
    $MONTANT_TOTAL          = 'Nom="MONTANT_TOTAL" Valeur="0"'
    $POLE                   = 'Nom="POLE" Valeur="1ADP"'
    $CODE_ORGANISME         = 'Nom="CODE_ORGANISME" Valeur="1ADP"'
    
    # Paramètre nombre item par xml VALEUR A MODIFIER A 5000
    $maxItemsPerXml = 3
    
    # Nombre de process restants
    $restant = $liste.Count
    
    
    # Paramétrage compteur
          
    
    #Import du csv et création des différentes collections 
    $liste = Import-Csv -path 'c:\temp\testH.csv' -Delimiter ';'
    [System.Collections.ArrayList] $DateErrors = @()
    [System.Collections.ArrayList] $FileNameErrors = @()
    [System.Collections.ArrayList] $CanalErrors = @()
    [System.Collections.ArrayList] $NumAssureErrors = @()
    
    
     #création fichier
     $xmlFile = "C:\Temp\MIG_ERELEVE_MM_$(get-date -f dd-MM-yyyy)_{0:D3}.xml" -f $xmlFileCount
    
     #En-tête
     $output = @"
    <?xml version="1.0" encoding="utf-8"?>
    <Documents Origine="ERELEVE_HUM">
    `n
    "@
    
    foreach($item in $liste)
    {
        #Initiation variables booléennes 
        $MyDateIsCorrect = $true
        $MyFileNameIsCorrect = $true
        $MyCanalIsCorrect = $true
        $MyNumAssureIsCorrect = $true
    
     
        #Transformations données
        $date = $($item.UCB63_DATENUM -split " ")[0]
        $renommage = [System.IO.Path]::GetFileNameWithoutExtension($item.U6618_FILENAME)
           
            #Génération output XML
    
     if($MyDateIsCorrect -and $MyFileNameIsCorrect -and $MyCanalIsCorrect -and $MyNumAssureIsCorrect){
                
           
    $output += @"
              <Document>
                    <Index Nom="TITLE" Valeur="$renommage"/>
                    <Index Nom="NO_ASSURE" Valeur="$($item.U65B8_IDRP)"/>
                    <Index Nom="DEBUT_PERIODE" Valeur="$RecupDateFinTraitement"/>
                    <Index Nom="FIN_PERIODE" Valeur="$RecupDateFin30"/>
                    <Index $FREQUENCE_DECOMPTE/>
                    <Index $LIBELLE_ORGANISME/>
                    <Index $MONTANT_TOTAL/>
                    <Index Nom="DATE_GENERATION_DECOMPTE"$RecupDateFinTraitement/>
                    <Index $POLE/>
                    <Index $CODE_ORGANISME/>
                    <Index Nom="ALERTE_MAIL" Valeur="$fin"/>
                    <Fichier Nom="$($item.U6618_FILENAME)"/>
              </Document>`r`n                 
    "@        
        
        }                 
 }
        
    $output += @"
    `r`n</Documents>
    "@
    
    $output | Set-Content -Path $xmlFile -Encoding UTF8 
        
    $DateErrors.ToArray() | Export-Csv -Path c:\temp\DateErrors.csv -NoTypeInformation
    $FileNameErrors.ToArray() | Export-Csv -Path c:\temp\FileNameErrors.csv -NoTypeInformation
    $CanalErrors.ToArray() | Export-Csv -Path c:\temp\CanalErrors.csv -NoTypeInformation
    $NumAssureErrors.ToArray() | Export-Csv -Path c:\temp\NumAssureErrors.csv -NoTypeInformation 
      

Мой результат выглядит так, но я хотел бы создать новый файл, как только дойду до 3 элементов

<?xml version="1.0" encoding="utf-8"?>
<Documents Origine="ERELEVE_HUM">
          <Document>
                <Index Nom="TITLE" Valeur="457E6659_ZN_LIQRLVPR_A_V_ML"/>
                <Index Nom="NO_ASSURE" Valeur="1367091"/>
                <Index Nom="DEBUT_PERIODE" Valeur="09-07-2020"/>
                <Index Nom="FIN_PERIODE" Valeur="08/08/2020"/>
                <Index Nom="FREQUENCE_DECOMPTE" Valeur="MENS"/>
                <Index Nom="LIBELLE_ORGANISME" Valeur="HUMANIS CCN OG"/>
                <Index Nom="MONTANT_TOTAL" Valeur="0"/>
                <Index Nom="DATE_GENERATION_DECOMPTE"09-07-2020/>
                <Index Nom="POLE" Valeur="1ADP"/>
                <Index Nom="CODE_ORGANISME" Valeur="1ADP"/>
                <Index Nom="ALERTE_MAIL" Valeur="1"/>
                <Fichier Nom="457E6659_ZN_LIQRLVPR_A_V_ML.pdf"/>
          </Document>
                           <Document>
                <Index Nom="TITLE" Valeur="49453878_ZN_LIQRLVPR_A_V_ML"/>
                <Index Nom="NO_ASSURE" Valeur="106440"/>
                <Index Nom="DEBUT_PERIODE" Valeur="09-07-2020"/>
                <Index Nom="FIN_PERIODE" Valeur="08/08/2020"/>
                <Index Nom="FREQUENCE_DECOMPTE" Valeur="MENS"/>
                <Index Nom="LIBELLE_ORGANISME" Valeur="HUMANIS CCN OG"/>
                <Index Nom="MONTANT_TOTAL" Valeur="0"/>
                <Index Nom="DATE_GENERATION_DECOMPTE"09-07-2020/>
                <Index Nom="POLE" Valeur="1ADP"/>
                <Index Nom="CODE_ORGANISME" Valeur="1ADP"/>
                <Index Nom="ALERTE_MAIL" Valeur="1"/>
                <Fichier Nom="49453878_ZN_LIQRLVPR_A_V_ML.pdf"/>
          </Document>
                           <Document>
                <Index Nom="TITLE" Valeur="497E585B_ZN_LIQRLVPR_A_V_CS"/>
                <Index Nom="NO_ASSURE" Valeur="1536658"/>
                <Index Nom="DEBUT_PERIODE" Valeur="09-07-2020"/>
                <Index Nom="FIN_PERIODE" Valeur="08/08/2020"/>
                <Index Nom="FREQUENCE_DECOMPTE" Valeur="MENS"/>
                <Index Nom="LIBELLE_ORGANISME" Valeur="HUMANIS CCN OG"/>
                <Index Nom="MONTANT_TOTAL" Valeur="0"/>
                <Index Nom="DATE_GENERATION_DECOMPTE"09-07-2020/>
                <Index Nom="POLE" Valeur="1ADP"/>
                <Index Nom="CODE_ORGANISME" Valeur="1ADP"/>
                <Index Nom="ALERTE_MAIL" Valeur="1"/>
                <Fichier Nom="497E585B_ZN_LIQRLVPR_A_V_CS.pdf"/>
          </Document>
                           <Document>
                <Index Nom="TITLE" Valeur="58453B75_ZN_LIQRLVPR_A_V_ML"/>
                <Index Nom="NO_ASSURE" Valeur="1406091"/>
                <Index Nom="DEBUT_PERIODE" Valeur="09-07-2020"/>
                <Index Nom="FIN_PERIODE" Valeur="08/08/2020"/>
                <Index Nom="FREQUENCE_DECOMPTE" Valeur="MENS"/>
                <Index Nom="LIBELLE_ORGANISME" Valeur="HUMANIS CCN OG"/>
                <Index Nom="MONTANT_TOTAL" Valeur="0"/>
                <Index Nom="DATE_GENERATION_DECOMPTE"09-07-2020/>
                <Index Nom="POLE" Valeur="1ADP"/>
                <Index Nom="CODE_ORGANISME" Valeur="1ADP"/>
                <Index Nom="ALERTE_MAIL" Valeur="1"/>
                <Fichier Nom="58453B75_ZN_LIQRLVPR_A_V_ML.pdf"/>
          </Document>
                 
</Documents>

1 Ответ

1 голос
/ 10 июля 2020

Я пересмотрел свой код с прошлого раза, чтобы встроить контроль ошибок, потому что я считаю, что именно по этой причине вы изменили while l oop на foreach l oop.

В приведенном ниже коде по-прежнему используется while l oop, потому что для меня это упрощает работу со счетчиками. Я изменил способ вставки шаблонов элементов и документов в код, потому что Here-Strings имеют тенденцию нарушать форматирование кода, что затрудняет его чтение. Теперь он использует расширение переменной отложенное , я опирался на этот ответ . Таким образом, шаблоны определяются на ранних этапах кода без нарушения отступов и расширяются при необходимости позже.

Я также изменил способ фиксации возможных ошибок. Теперь я использую один объект List для захвата всех типов ошибок и элементов, добавляя два дополнительных столбца к элементу ошибки: ErrorType и ErrorDescription.

$FREQUENCE_DECOMPTE     = 'Nom="FREQUENCE_DECOMPTE" Valeur="MENS"'
$LIBELLE_ORGANISME      = 'Nom="LIBELLE_ORGANISME" Valeur="HUMANIS CCN OG"'
$MONTANT_TOTAL          = 'Nom="MONTANT_TOTAL" Valeur="0"'
$POLE                   = 'Nom="POLE" Valeur="1ADP"'
$CODE_ORGANISME         = 'Nom="CODE_ORGANISME" Valeur="1ADP"'

# Create two template Here-Strings near the top of the code.
# The first one is a templete for every single item in the XML, the second one
# merges it together as a complete XML document.
# The Here-Strings use SINGLE quotes, so the variables inside are now NOT expanded. 
# We'll do that later in the code using $ExecutionContext.InvokeCommand.ExpandString($itemTemplate)  
$itemTemplate = @'
    <Document>
        <Index Nom="TITLE" Valeur="$renommage"/>
        <Index Nom="NO_ASSURE" Valeur="$($item.U65B8_IDRP)"/>
        <Index Nom="DEBUT_PERIODE" Valeur="$RecupDateFinTraitement"/>
        <Index Nom="FIN_PERIODE" Valeur="$RecupDateFin30"/>
        <Index $FREQUENCE_DECOMPTE/>
        <Index $LIBELLE_ORGANISME/>
        <Index $MONTANT_TOTAL/>
        <Index Nom="DATE_GENERATION_DECOMPTE" Valeur="$RecupDateFinTraitement"/>
        <Index $POLE/>
        <Index $CODE_ORGANISME/>
        <Index Nom="ALERTE_MAIL" Valeur="$alerte"/>
        <Fichier Nom="$($item.U6618_FILENAME)"/>
    </Document>
'@

$documentTemplate = @'
<?xml version="1.0" encoding="utf-8"?>
<Documents Origine="ERELEVE_HUM">
$($xmlItems -join "`r`n")
</Documents>
'@

# create a list object to capture any errors
$errorList = [System.Collections.Generic.List[object]]::new()
# older PowerShell versions use
# $errorList = New-Object -TypeName System.Collections.Generic.List[object]

# read the csv file
$liste = Import-Csv -path 'C:\temp\testH.csv' -Delimiter ';'

# get the total remaining records to process
$restant = $liste.Count

# set a maximum value of items for each resulting XML file. 
# In real life, change this value to 5000
$maxItemsPerXml = 3

# set a xml output file counter and an item index counter
$xmlFileCount = 1
$currentItem  = 0
# loop through all items
while ($restant -gt 0) {
    $itemCount = [math]::Min($maxItemsPerXml, $restant)
    $xmlItems = for ($i = 0; $i -lt $itemCount; $i++) {
        $item = $liste[$i + $currentItem]
        $errorsFound = $false
        # test some of the fields

        ## UCB63_DATENUM
        $date = Get-Date
        # if no error, the date variable will be set to the date in this field
        if (-not [datetime]::TryParseExact($item.UCB63_DATENUM, 'M/d/yy HH:mm', $null, 'None', [ref]$date)) { 
            # add an error object to the errorList
            [void]$errorList.Add(($item | Select-Object @{Name = 'ErrorType'; Expression = {'BadDate'}},
                                                        @{Name = 'ErrorDescription'; Expression = {'UCB63_DATENUM has invalid date format'}}, *))
            $errorsFound = $true
        }
        ## U6618_FILENAME
        if ([System.IO.Path]::GetExtension($item.U6618_FILENAME) -ne '.pdf'){
            [void]$errorList.Add(($item | Select-Object @{Name = 'ErrorType'; Expression = {'BadExtension'}},
                                                        @{Name = 'ErrorDescription'; Expression = {'U6618_FILENAME not a PDF file'}}, *))
            $errorsFound = $true
        }
        ## UF6E8_CANAL
        if ([string]::IsNullOrWhiteSpace($item.UF6E8_CANAL)){
            [void]$errorList.Add(($item | Select-Object @{Name = 'ErrorType'; Expression = {'EmptyField'}},
                                                        @{Name = 'ErrorDescription'; Expression = {'UF6E8_CANAL is empty'}}, *))
            $errorsFound = $true
        }
        ## U65B8_IDRP
        if ([string]::IsNullOrWhiteSpace($item.U65B8_IDRP)) {
            [void]$errorList.Add(($item | Select-Object @{Name = 'ErrorType'; Expression = {'EmptyField'}},
                                                        @{Name = 'ErrorDescription'; Expression = {'U65B8_IDRP is empty'}}, *))
            $errorsFound = $true
        }

        if (!$errorsFound) {
            $alerte = if ($item.UF6E8_CANAL -eq "ML") {1} else {0}
            $renommage = [System.IO.Path]::GetFileNameWithoutExtension($item.U6618_FILENAME)
            $RecupDateFinTraitement = $date.ToString('dd/MM/yyyy')
            $RecupDateFin30         = $date.AddDays(30).ToString('dd/MM/yyyy')

            # output each item in xml-style by (deferred) expansion of the variables that are now known
            $ExecutionContext.InvokeCommand.ExpandString($itemTemplate)
        }
        else { 
            # the item had error(s). Increment the $itemCount variable,
            # but don't let it grow beyond the $restant number of items!
            $itemCount = [math]::Min(($itemCount + 1), $restant)
        }
    }
    # create a complete file path and name for the output xml
    $xmlFile = "C:\Temp\MIG_ERELEVE_MM_{0:dd-MM-yyyy}_{1:D3}.xml" -f (Get-Date), $xmlFileCount

    # create the XML content, complete with declaration and root node and write it to file
    $ExecutionContext.InvokeCommand.ExpandString($documentTemplate) | Set-Content -Path $xmlFile -Encoding UTF8

    # increment the xml FILE counter
    $xmlFileCount++
    # update the csv ITEM counters
    $restant -= $itemCount
    $currentItem += $itemCount
}

# output the errors encountered if any
if ($errorList.Count) { 
    $errorList | Export-Csv -Path 'C:\temp\Errors.csv' -Delimiter ';' -NoTypeInformation -Encoding UTF8
}

По вашим наблюдениям, очевидно, PowerShell 4.0 плохо работает с $ExecutionContext.InvokeCommand.ExpandString() .. Поэтому для этой версии (и более старых) используйте вместо этого:

$FREQUENCE_DECOMPTE     = 'Nom="FREQUENCE_DECOMPTE" Valeur="MENS"'
$LIBELLE_ORGANISME      = 'Nom="LIBELLE_ORGANISME" Valeur="HUMANIS CCN OG"'
$MONTANT_TOTAL          = 'Nom="MONTANT_TOTAL" Valeur="0"'
$POLE                   = 'Nom="POLE" Valeur="1ADP"'
$CODE_ORGANISME         = 'Nom="CODE_ORGANISME" Valeur="1ADP"'


# create a list object to capture any errors
$errorList = New-Object -TypeName System.Collections.Generic.List[object]

$errorList = New-Object -TypeName System.Collections.Generic.List[object]
# read the csv file
$liste = Import-Csv -path 'C:\temp\testH.csv' -Delimiter ';'

# get the total remaining records to process
$restant = $liste.Count

# set a maximum value of items for each resulting XML file. 
# In real life, change this value to 5000
$maxItemsPerXml = 3

# set a xml output file counter and an item index counter
$xmlFileCount = 1
$currentItem  = 0
# loop through all items
while ($restant -gt 0) {
    $itemCount = [math]::Min($maxItemsPerXml, $restant)
    $xmlItems = for ($i = 0; $i -lt $itemCount; $i++) {
        $item = $liste[$i + $currentItem]
        $errorsFound = $false
        # test some of the fields

        ## UCB63_DATENUM
        $date = Get-Date
        # if no error, the date variable will be set to the date in this field
        if (-not [datetime]::TryParseExact($item.UCB63_DATENUM, 'M/d/yy HH:mm', $null, 'None', [ref]$date)) { 
            # add an error object to the errorList
            [void]$errorList.Add(($item | Select-Object @{Name = 'ErrorType'; Expression = {'BadDate'}},
                                                        @{Name = 'ErrorDescription'; Expression = {'UCB63_DATENUM has invalid date format'}}, *))
            $errorsFound = $true
        }
        ## U6618_FILENAME
        if ([System.IO.Path]::GetExtension($item.U6618_FILENAME) -ne '.pdf'){
            [void]$errorList.Add(($item | Select-Object @{Name = 'ErrorType'; Expression = {'BadExtension'}},
                                                        @{Name = 'ErrorDescription'; Expression = {'U6618_FILENAME not a PDF file'}}, *))
            $errorsFound = $true
        }
        ## UF6E8_CANAL
        if ([string]::IsNullOrWhiteSpace($item.UF6E8_CANAL)){
            [void]$errorList.Add(($item | Select-Object @{Name = 'ErrorType'; Expression = {'EmptyField'}},
                                                        @{Name = 'ErrorDescription'; Expression = {'UF6E8_CANAL is empty'}}, *))
            $errorsFound = $true
        }
        ## U65B8_IDRP
        if ([string]::IsNullOrWhiteSpace($item.U65B8_IDRP)) {
            [void]$errorList.Add(($item | Select-Object @{Name = 'ErrorType'; Expression = {'EmptyField'}},
                                                        @{Name = 'ErrorDescription'; Expression = {'U65B8_IDRP is empty'}}, *))
            $errorsFound = $true
        }

        if (!$errorsFound) {
            $alerte = if ($item.UF6E8_CANAL -eq "ML") {1} else {0}
            $renommage = [System.IO.Path]::GetFileNameWithoutExtension($item.U6618_FILENAME)
            $RecupDateFinTraitement = $date.ToString('dd/MM/yyyy')
            $RecupDateFin30         = $date.AddDays(30).ToString('dd/MM/yyyy')

            # output each item in xml-style by (deferred) expansion of the variables that are now known
@"
    <Document>
        <Index Nom="TITLE" Valeur="$renommage"/>
        <Index Nom="NO_ASSURE" Valeur="$($item.U65B8_IDRP)"/>
        <Index Nom="DEBUT_PERIODE" Valeur="$RecupDateFinTraitement"/>
        <Index Nom="FIN_PERIODE" Valeur="$RecupDateFin30"/>
        <Index $FREQUENCE_DECOMPTE/>
        <Index $LIBELLE_ORGANISME/>
        <Index $MONTANT_TOTAL/>
        <Index Nom="DATE_GENERATION_DECOMPTE" Valeur="$RecupDateFinTraitement"/>
        <Index $POLE/>
        <Index $CODE_ORGANISME/>
        <Index Nom="ALERTE_MAIL" Valeur="$alerte"/>
        <Fichier Nom="$($item.U6618_FILENAME)"/>
    </Document>
"@
        }
        else { 
            # the item had error(s). Increment the $itemCount variable,
            # but don't let it grow beyond the $restant number of items!
            $itemCount = [math]::Min(($itemCount + 1), $restant)
        }
    }
    # create a complete file path and name for the output xml
    $xmlFile = "C:\Temp\MIG_ERELEVE_MM_{0:dd-MM-yyyy}_{1:D3}.xml" -f (Get-Date), $xmlFileCount

    # create the XML content, complete with declaration and root node and write it to file
@"
<?xml version="1.0" encoding="utf-8"?>
<Documents Origine="ERELEVE_HUM">
$($xmlItems -join "`r`n")
</Documents>
"@ | Set-Content -Path $xmlFile -Encoding UTF8

    # increment the xml FILE counter
    $xmlFileCount++
    # update the csv ITEM counters
    $restant -= $itemCount
    $currentItem += $itemCount
}

# output the errors encountered if any
if ($errorList.Count) { 
    $errorList | Export-Csv -Path 'C:\temp\Errors.csv' -Delimiter ';' -NoTypeInformation -Encoding UTF8
}

Некоторое пояснение:

while ($restant -gt 0) l oop просто делает его намного проще, чем foreach($item in $liste), потому что он проверяет, есть ли еще элементы для обработки.

  • $itemCount = [math]::Min($maxItemsPerXml, $restant) дает вам количество элементов, которые вы установили в $maxItemsPerXml, но не больше, чем осталось элементов .

  • мы используем эту $itemCount переменную в следующем l oop $xmlItems = for ($i = 0; $i -lt $itemCount; $i++), чтобы перебирать это максимальное количество элементов, и в то же время мы захватываем все, что l oop выводит в переменной $xmlItems

  • внутри этого l oop мы сначала выполняем несколько тестов для каждого поля для каждого элемента, и если тест не удался, мы сообщаем об этом в переменной $errorList . Если элемент не прошел тесты, он исключается из вывода XML, поэтому нам нужно скорректировать переменную $itemCount на $itemCount = [math]::Min(($itemCount + 1), $restant). Опять же, мы используем [math] :: Min (), чтобы убедиться, что мы никогда go не превысим оставшееся количество элементов.

  • если все тесты пройдены, элемент выводится как XML <Document>..</Document> узлов и собраны в $xmlItems

  • тогда, если мы закончили for ($i = 0; $i -lt $itemCount; $i++) l oop, мы собрали максимум $maxItemsPerXml xml узлов и нам нужно сохранить XML.

  • после сохранения, нам нужно настроить различные счетчики, прежде чем мы повторно введем while l oop:

    • счетчик файлов увеличивается для следующего файла на $xmlFileCount++
    • количество оставшихся элементов корректируется с помощью $restant -= $itemCount
    • индексный номер $currentItem устанавливается на следующее значение в общем массиве с $currentItem += $itemCount
  • наконец, мы проверяем, есть ли что-нибудь в $errorList, и если да, мы пишем файл CSV C:\temp\Errors.csv с все найденные нами ошибки

Все готово!

...