Редактировать: решение добавлено.
Привет, в настоящее время у меня есть некоторый рабочий, хотя и медленный код.
Он объединяет 2 CSV файлов построчно, используя первичный ключ.Например, если в файле 1 есть строка:
"one,two,,four,42"
, а в файле 2 есть эта строка;
"one,,three,,42"
, где в 0 индексированное $ position = 4 имеет первичный ключ = 42;
затем подпрограмма: merge_file ($ file1, $ file2, $ outputfile, $ position);
выведет файл со строкой:
"one,two,three,four,42";
Каждый первичныйключ уникален в каждом файле, и ключ может существовать в одном файле, но не в другом (и наоборот)
В каждом файле содержится около 1 миллиона строк.
Пройдя через каждый файлВ строке в первом файле я использую хеш для хранения первичного ключа и сохраняю номер строки в качестве значения.Номер строки соответствует массиву [номер строки], в котором хранится каждая строка в первом файле.
Затем я просматриваю каждую строку во втором файле и проверяю, есть ли первичный ключ в хэше, и еслиэто, получить строку из file1array, а затем добавить нужные мне столбцы из первого массива во второй массив, а затем concat.к концу.Затем удалите хеш, а затем, в самом конце, сбросьте всю вещь в файл.(Я использую SSD, поэтому хочу свести к минимуму записи в файл.)
Вероятно, это лучше всего объяснить с помощью кода:
sub merge_file2{
my ($file1,$file2,$out,$position) = ($_[0],$_[1],$_[2],$_[3]);
print "merging: \n$file1 and \n$file2, to: \n$out\n";
my $OUTSTRING = undef;
my %line_for;
my @file1array;
open FILE1, "<$file1";
print "$file1 opened\n";
while (<FILE1>){
chomp;
$line_for{read_csv_string($_,$position)}=$.; #reads csv line at current position (of key)
$file1array[$.] = $_; #store line in file1array.
}
close FILE1;
print "$file2 opened - merging..\n";
open FILE2, "<", $file2;
my @from1to2 = qw( 2 4 8 17 18 19); #which columns from file 1 to be added into cols. of file 2.
while (<FILE2>){
print "$.\n" if ($.%1000) == 0;
chomp;
my @array1 = ();
my @array2 = ();
my @array2 = split /,/, $_; #split 2nd csv line by commas
my @array1 = split /,/, $file1array[$line_for{$array2[$position]}];
# ^ ^ ^
# prev line lookup line in 1st file,lookup hash, pos of key
#my @output = &merge_string(\@array1,\@array2); #merge 2 csv strings (old fn.)
foreach(@from1to2){
$array2[$_] = $array1[$_];
}
my $outstring = join ",", @array2;
$OUTSTRING.=$outstring."\n";
delete $line_for{$array2[$position]};
}
close FILE2;
print "adding rest of lines\n";
foreach my $key (sort { $a <=> $b } keys %line_for){
$OUTSTRING.= $file1array[$line_for{$key}]."\n";
}
print "writing file $out\n\n\n";
write_line($out,$OUTSTRING);
}
Первое время в порядке, занимает менее 1 минутыОднако второй цикл while занимает около 1 часа, и мне интересно, правильно ли я выбрал подход.Я думаю, что это возможно для большого ускорения?:) Заранее спасибо.
Решение:
sub merge_file3{
my ($file1,$file2,$out,$position,$hsize) = ($_[0],$_[1],$_[2],$_[3],$_[4]);
print "merging: \n$file1 and \n$file2, to: \n$out\n";
my $OUTSTRING = undef;
my $header;
my (@file1,@file2);
open FILE1, "<$file1" or die;
while (<FILE1>){
if ($.==1){
$header = $_;
next;
}
print "$.\n" if ($.%100000) == 0;
chomp;
push @file1, [split ',', $_];
}
close FILE1;
open FILE2, "<$file2" or die;
while (<FILE2>){
next if $.==1;
print "$.\n" if ($.%100000) == 0;
chomp;
push @file2, [split ',', $_];
}
close FILE2;
print "sorting files\n";
my @sortedf1 = sort {$a->[$position] <=> $b->[$position]} @file1;
my @sortedf2 = sort {$a->[$position] <=> $b->[$position]} @file2;
print "sorted\n";
@file1 = undef;
@file2 = undef;
#foreach my $line (@file1){print "\t [ @$line ],\n"; }
my ($i,$j) = (0,0);
while ($i < $#sortedf1 and $j < $#sortedf2){
my $key1 = $sortedf1[$i][$position];
my $key2 = $sortedf2[$j][$position];
if ($key1 eq $key2){
foreach(0..$hsize){ #header size.
$sortedf2[$j][$_] = $sortedf1[$i][$_] if $sortedf1[$i][$_] ne undef;
}
$i++;
$j++;
}
elsif ( $key1 < $key2){
push(@sortedf2,[@{$sortedf1[$i]}]);
$i++;
}
elsif ( $key1 > $key2){
$j++;
}
}
#foreach my $line (@sortedf2){print "\t [ @$line ],\n"; }
print "outputting to file\n";
open OUT, ">$out";
print OUT $header;
foreach(@sortedf2){
print OUT (join ",", @{$_})."\n";
}
close OUT;
}
Спасибо всем, решение выложено выше.Теперь на объединение всего 1 минуты!:)