Perl Проблема с параллельными запросами с IO :: Asyn c и Future :: Utils - PullRequest
Новая
       4

Perl Проблема с параллельными запросами с IO :: Asyn c и Future :: Utils

3 голосов
/ 09 января 2020

Я пытаюсь использовать IO l oop для отправки одновременных запросов (5) в пул хостов (3), но код останавливается после 3 запросов. Мне помогли запустить этот код, но я, конечно, понимаю большинство из них сейчас. Я не понимаю, почему количество обработанных запросов связано с количеством хостов в моем пуле хостов. Целью кода является определение информации о маршрутизации от данного IP. 

use strict;
use warnings;
use Net::OpenSSH;
use IO::Async::Loop;
use Future::Utils 'fmap_concat';

my @hosts = qw(host1 host2 host3);
my @ssh;
my $user = 'myuser';
my $pass = 'mypassword';

foreach my $host (@hosts) {
  my $ssh = Net::OpenSSH->new(host => $host, user => $user, password => $pass, master_opts => [-o => "StrictHostKeyChecking=no"]);
  die "Failed to connect to $host: " . $ssh->error if $ssh->error;
  push @ssh, $ssh;
}

my @ipv4 = (
  'ip1','ip2','ip3','ip4','ip5'
);

my $loop = IO::Async::Loop->new;

my $future = fmap_concat {
  my $ip = shift;
  my $ssh = shift @ssh;
  my $cmd = 'show ip route '.$ip.' | i \*';
  my @remote_cmd = $ssh->make_remote_command($cmd);
  return $loop->run_process(command => \@remote_cmd)
    ->transform(done => sub { [@_] })
    ->on_ready(sub { push @ssh, $ssh });
} generate => sub { return () unless @ssh and @ipv4; shift @ipv4 }, concurrent => scalar @ssh;

my @results = $future->get;

foreach my $result (@results) {
  my ($exit, $stdout) = @$result;
  print $stdout, "\n";
}

Вот результаты 

Connection to host1 closed by remote host.
Connection to host2 closed by remote host.
Connection to host3 closed by remote host.
 * ip1, from host1, 3w0d ago, via GigabitEthernet0/0/0

 * ip2, from host2, 7w0d ago, via GigabitEthernet0/0/0

 * ip3, from host3, 3w0d ago, via GigabitEthernet0/0/1

1 Ответ

0 голосов
/ 13 января 2020

После исследования проблемы я обнаружил, что у сетевых устройств, таких как Cisco, может возникнуть проблема при обработке нескольких запросов по одному и тому же соединению. Таким образом, код немного изменился таким образом, что новое соединение открывается каждый раз, когда вызывается будущее, вместо использования пула предварительно открытых соединений. 

use strict;
use warnings;
use Net::OpenSSH;
use IO::Async::Loop;
use Future::Utils 'fmap_concat';

my @hosts = qw(host1 host2 host3);
my @ssh;
my $user = 'myuser';
my $pass = 'mypassword';

my @ipv4 = (
  'ip1','ip2','ip3','ip4','ip5'
);

my $loop = IO::Async::Loop->new;

my $future = fmap_concat {
  my $ip = shift;
  my $host = shift @hosts;
  my $ssh = Net::OpenSSH->new(host => $host, user => $user, password => $pass, master_opts => [-o => "StrictHostKeyChecking=no"]);
    die "Failed to connect to $host: " . $ssh->error if $ssh->error;
  my $cmd = 'show ip route '.$ip.' | i \*|^Routing entry';
  my @remote_cmd = $ssh->make_remote_command($cmd);
  return $loop->run_process(command => \@remote_cmd)
  ->transform(done => sub { [@_] })
  ->on_ready(sub { push @hosts, $host ; });
} generate => sub { return () unless @hosts and @ipv4; shift @ipv4 }, concurrent => scalar @hosts;

my @results = $future->get;

foreach my $result (@results) {
  my ($exit, $stdout) = @$result;
  print $stdout, "\n";
}

Но это привело к другим проблемам с базовой библиотекой sh. Похоже, что было состояние гонки из-за того, что соединение s sh не было освобождено должным образом, когда будущее снова вызывалось на $ host. undef $ s sh исправлено 

->on_ready(sub { undef $ssh; push @hosts, $host ; });
...