Истинное время ожидания для метода запроса LWP :: UserAgent

Question

Я пытаюсь выполнить запрос к ненадежному серверу. Запрос неплох, но для успешного выполнения моего сценария perl не требуется 100%. Проблема в том, что сервер иногда блокируется (мы пытаемся выяснить, почему), и запрос никогда не будет успешным. Поскольку сервер считает, что он работает, он поддерживает соединение с сокетом открытым, поэтому значение тайм-аута LWP :: UserAgent не дает нам ничего хорошего. Каков наилучший способ обеспечить абсолютное время ожидания для запроса?

К вашему сведению, это не проблема DNS. Этот тупик связан с огромным количеством обновлений, одновременно попадающих в нашу базу данных Postgres. В целях тестирования мы, по сути, поместили строку while (1) {} в обработчик ответа сервера.

В настоящее время код выглядит так:

my $ua = LWP::UserAgent->new;
ua->timeout(5); $ua->cookie_jar({});

my $req = HTTP::Request->new(POST => "http://$host:$port/auth/login");
$req->content_type('application/x-www-form-urlencoded');
$req->content("login[user]=$username&login[password]=$password");

# This line never returns 
$res = $ua->request($req);

Я пытался использовать сигналы для запуска тайм-аута, но это, похоже, не работает.

eval {
    local $SIG{ALRM} = sub { die "alarm\n" };
    alarm(1);
    $res = $ua->request($req);
    alarm(0);
};
# This never runs
print "here\n";

Окончательный ответ, который я собираюсь использовать, был предложен кем-то в автономном режиме, но я упомяну его здесь. По какой-то причине SigAction работает, а $ SIG (ALRM) - нет. Все еще не уверен почему, но это было проверено, чтобы работать. Вот две рабочие версии:

# Takes a LWP::UserAgent, and a HTTP::Request, returns a HTTP::Request
sub ua_request_with_timeout {
    my $ua = $_[0];
    my $req = $_[1];
    # Get whatever timeout is set for LWP and use that to 
    #  enforce a maximum timeout per request in case of server
    #  deadlock. (This has happened.)
    use Sys::SigAction qw( timeout_call );
    our $res = undef;
    if( timeout_call( 5, sub {$res = $ua->request($req);}) ) {
        return HTTP::Response->new( 408 ); #408 is the HTTP timeout
    } else {
        return $res;
    }
}
sub ua_request_with_timeout2 {
    print "ua_request_with_timeout\n";
    my $ua = $_[0];
    my $req = $_[1];
    # Get whatever timeout is set for LWP and use that to 
    #  enforce a maximum timeout per request in case of server
    #  deadlock. (This has happened.)
    my $timeout_for_client = $ua->timeout() - 2;
    our $socket_has_timedout = 0;

    use POSIX;
    sigaction SIGALRM, new POSIX::SigAction(
                                            sub {
                                                $socket_has_timedout = 1;
                                                die "alarm timeout";
                                            }
                                            ) or die "Error setting SIGALRM handler: $!\n";
    my $res = undef;
    eval {
        alarm ($timeout_for_client);
        $res = $ua->request($req);
        alarm(0);
    };
    if ( $socket_has_timedout ) {
        return HTTP::Response->new( 408 ); #408 is the HTTP timeout
    } else {
        return $res;
    }
}

Answer 1

Вы можете попробовать LWPx :: ParanoidAgent , подкласс LWP :: UserAgent, который более осторожен в отношении того, как он взаимодействует с удаленными веб-серверами.

Помимо прочего, он позволяет вам указать глобальное время ожидания. Он был разработан Брэдом Фитцпатриком в рамках проекта LiveJournal.

Answer 2

Вы можете сделать свой тайм-аут следующим образом:

use LWP::UserAgent;
use IO::Pipe;

my $agent = new LWP::UserAgent;

my $finished = 0;
my $timeout = 5;

$SIG{CHLD} = sub { wait, $finished = 1 };

my $pipe = new IO::Pipe;
my $pid = fork;

if($pid == 0) {
    $pipe->writer;
    my $response = $agent->get("http://stackoverflow.com/");
    $pipe->print($response->content);
    exit;
}

$pipe->reader;

sleep($timeout);

if($finished) {
    print "Finished!\n";
    my $content = join('', $pipe->getlines);
}   
else {
    kill(9, $pid);
    print "Timed out.\n";
}   

Answer 3

Следующее обобщение одного из исходных ответов также восстанавливает обработчик сигнала тревоги для предыдущего обработчика и добавляет второй вызов в alarm (0) в случае, если вызов в eval clock генерирует исключение, не являющееся сигналом тревоги, и мы хотим отменить будильник. Можно добавить дополнительную проверку и обработку $ @:

sub ua_request_with_timeout {
    my $ua = $_[0];
    my $request = $_[1];

    # Get whatever timeout is set for LWP and use that to 
    #  enforce a maximum timeout per request in case of server
    #  deadlock. (This has happened.)`enter code here`
    my $timeout_for_client_sec = $ua->timeout();
    our $res_has_timedout = 0; 

    use POSIX ':signal_h';

    my $newaction = POSIX::SigAction->new(
        sub { $res_has_timedout = 1; die "web request timeout"; },# the handler code ref
        POSIX::SigSet->new(SIGALRM),
        # not using (perl 5.8.2 and later) 'safe' switch or sa_flags
    );  

    my $oldaction = POSIX::SigAction->new();
    if(!sigaction(SIGALRM, $newaction, $oldaction)) {
        log('warn',"Error setting SIGALRM handler: $!");
        return $ua->request($request);
    }   

    my $response = undef;
    eval {
        alarm ($timeout_for_client_sec);
        $response = $ua->request($request);
        alarm(0);
    }; 

    alarm(0);# cancel alarm (if eval failed because of non alarm cause)
    if(!sigaction(SIGALRM, $oldaction )) {
        log('warn', "Error resetting SIGALRM handler: $!");
    }; 

    if ( $res_has_timedout ) {
        log('warn', "Timeout($timeout_for_client_sec sec) while waiting for a response from cred central");
        return HTTP::Response->new(408); #408 is the HTTP timeout
    } else {
        return $response;
     }
}

Answer 4

Насколько я понимаю, свойство timeout не учитывает таймауты DNS. Возможно, вы могли бы выполнить поиск DNS отдельно, а затем сделать запрос к серверу, если это работает, с правильным значением времени ожидания, установленным для useragent.

Это проблема DNS с сервером или что-то еще?

РЕДАКТИРОВАТЬ: Это также может быть проблема с IO :: Socket. Попробуйте обновить модуль IO :: Socket и посмотрите, поможет ли это. Я почти уверен, что там была ошибка, из-за которой не работали тайм-ауты LWP :: UserAgent.

Alex