Как пролистать страницу приветствия с помощью Perl LWP?

Question

Я пытаюсь просканировать эту страницу, используя Perl LWP:

http://livingsocial.com/cities/86/deals/138811-hour-long-photo-session-cd-and-more

У меня был код, который раньше мог обрабатывать живые социальные сети, но, похоже, он перестал работать. По сути, идея состояла в том, чтобы один раз сканировать страницу, получить ее cookie, установить cookie в UserAgent и сканировать его еще дважды. Сделав это, вы можете пройти через страницу приветствия:

$response = $browser->get($url);
$cookie_jar->extract_cookies($response);  
$browser->cookie_jar($cookie_jar);
$response = $browser->get($url);
$response = $browser->get($url);

Похоже, что это перестало работать для обычных страниц LivingSocial, но все еще работает для LivinSocialEscapes. Например,:.

http://livingsocial.com/escapes/148029-cook-islands-hotel-+-airfare

Какие-нибудь советы о том, как пройти страницу приветствия?

Answer 1

Похоже, что эта страница работает только с браузером, поддерживающим Javascript (которого LWP::UserAgent нет). Вместо этого вы можете попробовать WWW::Mechanize::Firefox:

use WWW::Mechanize::Firefox;
my $mech = WWW::Mechanize::Firefox->new();
$mech->get($url);

Обратите внимание, что вы должныдля работы этого модуля необходимо установить Firefox и расширение mozrepl .