Какова лучшая стратегия удаления очень большой папки с помощью Perl?

Question

Мне нужно удалить весь контент (файлы и папки) в данной папке. Проблема в том, что в папке находятся миллионы файлов и папок. Поэтому я не хочу загружать все имена файлов за один раз .

Логика должна быть такой:

• итерация папки без загрузки всего
• получить файл или папку
• удали это (подробно, что файл или папка "X" были удалены)
• перейти к следующему

Я пытаюсь что-то вроде этого:

sub main(){
  my ($rc, $help, $debug, $root)   = ();
  $rc = GetOptions ( "HELP"           => \$help,
                     "DEBUG"          => \$debug,
                     "ROOT=s"         => \$root);

  die "Bad command line options\n$usage\n" unless ($rc);
  if ($help) { print $usage; exit (0); }

  if ($debug) {
      warn "\nProceeding to execution with following parameters: \n";
      warn "===============================================================\n";
      warn "ROOT = $root\n";

  } # write debug information to STDERR

  print "\n Starting to delete...\n";  

  die "usage: $0 dir ..\n" unless $root;
  *name = *File::Find::name;
  find \&verbose, @ARGV;

}

sub verbose {
    if (!-l && -d _) {
        print "rmdir $name\n";
    } else {
        print "unlink $name\n";
    }
}

main();

Работает нормально, но всякий раз, когда «find» читает огромную папку, приложение застревает, и я вижу, как системная память для Perl увеличивается до истечения времени ожидания. Зачем? Он пытается загрузить все файлы за один раз?

Спасибо за вашу помощь.

Answer 1

Функция remove_tree из File :: Path может переносимо и многословно удалить иерархию каталогов, сохраняя верхний каталог при желании.

use strict;
use warnings;
use File::Path qw(remove_tree);

my $dir = '/tmp/dir';
remove_tree($dir, {verbose => 1, keep_root => 1});

До 5.10, используйте функцию rmtree из File :: Path . Если вам все еще нужен верхний каталог, вы можете просто mkdir снова.

use File::Path;

my $dir = '/tmp/dir';
rmtree($dir, 1);  # 1 means verbose
mkdir $dir;

Answer 2

perlfaq указывает, что File::Find выполняет тяжелую работу по обходу каталога, но работа не такая сложная (если в вашем дереве каталогов отсутствуют именованные каналы, блочные устройства и т. Д.). ):

sub traverse_directory {
    my $dir = shift;
    opendir my $dh, $dir;
    while (my $file = readdir($dh)) {
        next if $file eq "." || $file eq "..";
        if (-d "$dir/$file") {
            &traverse_directory("$dir/$file");
        } elsif (-f "$dir/$file") {
            # $dir/$file is a regular file
            # Do something with it, for example:
            print "Removing $dir/$file\n";
            unlink "$dir/$file" or warn "unlink $dir/$file failed: $!\n";
        } else {
            warn "$dir/$file is not a directory or regular file. Ignoring ...\n";
        }
    }
    closedir $dh;
    # $dir might be empty at this point. If you want to delete it:
    if (rmdir $dir) {
        print "Removed $dir/\n";
    } else {
        warn "rmdir $dir failed: $!\n";
    }
}

Замените свой собственный код на выполнение действий с файлом или (возможно) пустым каталогом и вызовите эту функцию один раз в корне дерева, которое вы хотите обработать. Найдите значения opendir/closedir, readdir, -d и -f, если вы не сталкивались с ними раньше.

Answer 3

Что не так с:

`rm -rf $folder`; // ??

Answer 4

Вы можете использовать File::Find для систематического обхода каталога и удаления файлов и каталогов под ним.

Answer 5

ОК, я сдался и использовал встроенные Perl, но вы должны использовать File :: Path :: rmtree , о котором я полностью забыл:

#!/usr/bin/perl

use strict; use warnings;
use Cwd;
use File::Find;

my ($clean) = @ARGV;
die "specify directory to clean\n" unless defined $clean;

my $current_dir = getcwd;
chdir $clean
    or die "Cannot chdir to '$clean': $!\n";

finddepth(\&wanted => '.');

chdir $current_dir
    or die "Cannot chdir back to '$current_dir':$!\n";

sub wanted {
    return if /^[.][.]?\z/;
    warn "$File::Find::name\n";
    if ( -f ) {
        unlink or die "Cannot delete '$File::Find::name': $!\n";
    }
    elsif ( -d _ ) {
        rmdir or die "Cannot remove directory '$File::Find::name': $!\n";
    }
    return;
}

Answer 6

Загрузите инструменты Unix для Windows , и тогда вы можете сделать rm -rv или что-то еще.

Perl - отличный инструмент для многих целей, но этот, кажется, лучше сделать с помощью специализированного инструмента.

Answer 7

Вот дешевый «кроссплатформенный» метод:

use Carp    qw<carp croak>;
use English qw<$OS_NAME>;
use File::Spec;  

my %deltree_op = ( nix => 'rm -rf %s', win => 'rmdir /S %s' );

my %group_for
    = ( ( map { $_ => 'nix' } qw<linux UNIX SunOS> )
      , ( map { $_ => 'win' } qw<MSWin32 WinNT>    )
      );

my $group_name = $group_for{$OS_NAME};
sub chop_tree { 
   my $full_path = shift;
   carp( "No directory $full_path exists! We're done." ) unless -e $full_path;
   croak( "No implementation for $OS_NAME!" ) unless $group_name;
   my $format = $deltree_op{$group_name};
   croak( "Could not find command format for group $group_name" ) unless $format;
   my $command = sprintf( $format, File::Spec->canonpath( $full_path ));
   qx{$command};
}