сканировать веб-сайт для данных с частыми интервалами - PullRequest
0 голосов
/ 07 сентября 2010

Мне нужно сканировать веб-сайт и получать определенные данные, которые обновляются каждые несколько минут.Как мне это сделать?

Ответы [ 2 ]

4 голосов
/ 07 сентября 2010

Загрузка WWW::Mechanize для сканирования, используйте метод mirror, унаследованный от LWP::UserAgent.

0 голосов
/ 07 сентября 2010

Используйте sleep для управления периодом ожидания и используйте WWW::Mechanize для извлечения данных:

use strict;
use WWW::Mechanize;

my $mech = WWW::Mechanize->new();
my $url = "http://www.nytimes.com";  # a sample webpage
while (1) {
    $mech->get($url);
    print $mech->content(format => 'text');  # read docs for WWW::Mechanize for advanced content processing
    sleep 300;  # wait for 5 minutes
}

РЕДАКТИРОВАТЬ: улучшен процесс поиска содержимого образца.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...