Как сделать параллельные HTTP-запросы в Perl и получить их обратно по порядку?

Question

Используя Perl, я ищу простой способ параллельно выполнять несколько HTTP-запросов, где я получаю ответы в том же порядке, в котором я их отправлял после их завершения, например:

my ($google, $perl) = foobar(GET => 'http://www.google.com/',
                             GET => 'http://www.perl.org/');

Есть ли модуль, на который я должен смотреть?

Я знаю, что могу вести бухгалтерию вручную, но чувствую себя испорченным после того, как смог сделать это, используя метод jQuery when ,и я бы хотел иметь такое же простое решение с использованием Perl.

Спасибо за вашу помощь.

Answer 1

use threads;
use LWP::UserAgent qw( );

my $ua = LWP::UserAgent->new();
my @threads;
for my $url ('http://www.google.com/', 'http://www.perl.org/') {
   push @threads, async { $ua->get($url) };
}

for my $thread (@threads) {
   my $response = $thread->join;
   ...
}

Самое приятное, что родитель не ожидает завершения всех запросов. Как только правильный запрос будет завершен, родительский блок будет разблокирован для его обработки.

---

Если вы использовали Parallel :: ForkManager или что-то еще, где вы не можете ждать конкретного ребенка, вы можете использовать следующий код для упорядочивания результатов:

for my $id (0..$#urls) {
   create_task($id, $urls[$id]);
}

my %responses;
for my $id (0..$#urls) {
   if (!exists($responses{$id})) {
      my ($id, $response) = wait_for_a_child_to_complete();
      $responses{$id} = $response;
      redo;
   }

   my $response = delete($responses{$id});
   ...
}

Answer 2

Я фанат Моджо ! Из документации Mojo :: UserAgent :

use Mojo;
use Mojo::UserAgent;
# Parallel requests
my $ua = Mojo::UserAgent->new;
$ua->max_redirects(5);
my $delay = Mojo::IOLoop->delay;
for my $url ('http://www.google.com/', 'http://www.perl.org/') {
  $delay->begin;
  $ua->get($url => sub {
    my ($ua, $tx) = @_;
    $delay->end($tx->res->dom);
  });
}
my @responses = $delay->wait;
print join "\n", @responses

Наслаждайтесь!

EDIT

Btw. вам не нужно обрабатывать ответы в конце, вы можете сделать это между:

# ...
$ua->get($url => sub {
    my ($ua, $tx) = @_;
    $delay->end(1);
    # process $tx->res here
});
# ...
$delay->wait;