Perl, используя Mechanize для навигации по веб-страницам

Question

У меня есть несколько веб-страниц, по которым я хотел бы перейти по сценарию и получить все содержимое.Я знаю, что это 18-я ссылка на каждой странице.У меня есть следующий код в качестве теста, чтобы просто перейти по ссылке и очистить экран:

use strict;
use WWW::Mechanize;

my $start = "http://*some-webpage*";

my $mech = WWW::Mechanize->new( autocheck => 1 );
$mech->get( $start );
open(Output, ">mech_test.txt") or die $!;
$mech->follow_link(url_regex => qr//,  n => 18 );
print Output $mech->response()->content();
close(Output);

К сожалению, ссылка, к которой я пытаюсь получить доступ, ничего не содержит в теге href.При просмотре источника страницы ссылки выглядят следующим образом:

<a href="" onclick="return _doClick('CA256D6E001A7020.80376e858b0791b1ca256d7300098304/$Body/0.155A', this, null)">Next &gt;&gt;</a>

Я считаю, что это javascript и механизация не может перейти по этой ссылке.Любые идеи, чтобы обойти это?

Answer 1

Вы должны использовать модуль WWW::Scripter, который является подклассом WWW::Mechanize, который использует W3C DOM и обеспечивает поддержку сценариев.

Answer 2

Возможно быть чистым perl, если JS довольно прост.

Вам нужно найти подпрограмму javascript, и если она достаточно проста, вы можете воспроизвести ее как perl sub.

Тогда вы сможете сами создавать ссылки.

my @javascript_links = $html =~ m#return _doClick\((.*?)\)#gis;
#array contain 'CA256D6E001A7020.80376e858b0791b1ca256d7300098304/$Body/0.155A', this, null
my @links = extract_links(@javascript_links);
foreach my $link (@links){
  $mech->get( $link )
}
#***
sub extract_links{
 my $line = shift;
 my @params = split(/,/,$line);
 trim(@params);
 #mimic JS logic here, whatever it is
 my $link = "/some/path/here/to/add/some.php?someparam1=val1&param=$params[0]"; 
 return $link;

}