Powershell - конвертировать файл журнала в CSV

Question

У меня есть файлы журналов, которые выглядят так ...

2009-12-18T08:25:22.983Z     1         174 dns:0-apr-credit-cards-uk.pedez.co.uk P http://0-apr-credit-cards-uk.pedez.co.uk/ text/dns #170 20091218082522021+89 sha1:AIDBQOKOYI7OPLVSWEBTIAFVV7SRMLMF - -
2009-12-18T08:25:22.984Z     1           5 dns:0-60racing.co.uk P http://0-60racing.co.uk/ text/dns #116 20091218082522037+52 sha1:WMII7OOKYQ42G6XPITMHJSMLQFLGCGMG - -
2009-12-18T08:25:23.066Z     1          79 dns:0-addiction.metapress.com.wam.leeds.ac.uk P http://0-addiction.metapress.com.wam.leeds.ac.uk/ text/dns #042 20091218082522076+20 sha1:NSUQN6TBIECAP5VG6TZJ5AVY34ANIC7R - -
...plus millions of other records

Мне нужно преобразовать их в CSV-файлы ...

"2009-12-18T08:25:22.983Z","1","174","dns:0-apr-credit-cards-uk.pedez.co.uk","P","http://0-apr-credit-cards-uk.pedez.co.uk/","text/dns","#170","20091218082522021+89","sha1:AIDBQOKOYI7OPLVSWEBTIAFVV7SRMLMF","-","-"
"2009-12-18T08:25:22.984Z","1","5","dns:0-60racing.co.uk","P","http://0-60racing.co.uk/","text/dns","#116","20091218082522037+52","sha1:WMII7OOKYQ42G6XPITMHJSMLQFLGCGMG","-","-"
"2009-12-18T08:25:23.066Z","1","79","dns:0-addiction.metapress.com.wam.leeds.ac.uk","P","http://0-addiction.metapress.com.wam.leeds.ac.uk/","text/dns","#042","20091218082522076+20","sha1:NSUQN6TBIECAP5VG6TZJ5AVY34ANIC7R","-","-"

Разделитель полей может состоять из одного или нескольких пробелов с полями фиксированной ширины и переменной ширины. Это приводит в замешательство большинство парсеров CSV, которые я нахожу.

В конечном итоге я хочу скопировать эти файлы в SQL Server, но вы можете указать только один символ в качестве разделителя полей (т.е. ''), и это нарушит поля фиксированной длины.

Пока что - я использую PowerShell

gc -ReadCount 10 -TotalCount 200 .\crawl_sample.log | foreach { ([regex]'([\S]*)\s+').matches($_) } | foreach {$_.Groups[1].Value}

и это возвращает поток полей:

2009-12-18T08:25:22.983Z
1
74
dns:0-apr-credit-cards-uk.pedez.co.uk
P
http://0-apr-credit-cards-uk.pedez.co.uk/
text/dns
#170
20091218082522021+89
sha1:AIDBQOKOYI7OPLVSWEBTIAFVV7SRMLMF
-
-
2009-12-18T08:25:22.984Z
1
55
dns:0-60racing.co.uk
P
http://0-60racing.co.uk/
text/dns
#116
20091218082522037+52
sha1:WMII7OOKYQ42G6XPITMHJSMLQFLGCGMG
-

но как мне преобразовать этот вывод в формат CSV?

Answer 1

снова отвечаю на мой вопрос ...

measure-command {
    $q = [regex]" +"
    $q.Replace( ([string]::join([environment]::newline, (Get-Content -ReadCount 1 \crawl_sample2.log))), "," ) > crawl_sample2.csv
}

и это быстро!

Замечания:

• Я использовал \s+ в качестве разделителя регулярных выражений, и это прерывало перевод строки
• Get-Content -ReadCount 1 для потоковой передачи массивов из одной строки в регулярное выражение
• Затем перенаправить выходную строку в новый файл

UPDATE

Этот скрипт работает, но использует ОГРОМНЫЙ объем ОЗУ при работе с большими файлами. Итак, как я могу сделать то же самое без использования 8 ГБ ОЗУ и подкачки!

Я думаю, это вызвано тем, что join снова буферизует все данные .... Есть идеи? ОБНОВЛЕНИЕ 2

ОК - есть лучшее решение ...

Get-Content -readcount 100 -totalcount 100000 .\crawl.log | 
    ForEach-Object { $_ } |
       foreach { $_ -replace " +", "," } > .\crawl.csv

ОЧЕНЬ удобный справочник по Powershell - Регулярные выражения Powershell