Запуск Perl Hack от "Yahoo! Directory Mindshare в Google" - PullRequest
Новая
       38

Запуск Perl Hack от "Yahoo! Directory Mindshare в Google"

0 голосов
/ 08 февраля 2012

Кто-нибудь запускал Perl-скрипт, указанный на http://oreilly.com/pub/h/974#code?

Это известный, используемый для получения URL-адресов от Yahoo! каталог, и многие люди успешно использовали его.

Я пытался получить URL. Я создал свой собственный ключ Google API и заменил его в коде. Кроме того, я не сделал никаких изменений.

Скрипт не выдает ни ошибки, ни URL-адреса. 

#!/usr/bin/perl -w

use strict;
use LWP::Simple;
use HTML::LinkExtor;
use SOAP::Lite;

my $google_key  = "your API key goes here";
my $google_wdsl = "GoogleSearch.wsdl";
my $yahoo_dir   = shift || "/Computers_and_Internet/Data_Formats/XML_  _".
              "eXtensible_Markup_Language_/RSS/News_Aggregators/";

# download the Yahoo! directory.
my $data = get("http://dir.yahoo.com" . $yahoo_dir) or die $!;

# create our Google object.
my $google_search = SOAP::Lite->service("file:$google_wdsl");
my %urls; # where we keep our counts and titles.

# extract all the links and parse 'em.
HTML::LinkExtor->new(\&mindshare)->parse($data);

sub mindshare { # for each link we find...

  my ($tag, %attr) = @_;

  print "$tag\n";   

  # continue on only if the tag was a link,

  # and the URL matches Yahoo!'s redirectory.

  return if $tag ne 'a';   

  return unless $attr{href} =~ /srd.yahoo/;

  return unless $attr{href} =~ /\*http/;



  # now get our real URL.

  $attr{href} =~ /\*(http.*)/; my $url = $1;

  print "hi";

  # and process each URL through Google.

  my $results = $google_search->doGoogleSearch(

                      $google_key,"link:$url", 0, 1,

                      "true", "", "false", "", "", ""

                ); # wheee, that was easy, guvner.

  $urls{$url} = $results->{estimatedTotalResultsCount};

  print "1\n";

} 

# now sort and display.

my @sorted_urls = sort { $urls{$b} <=> $urls{$a} } keys %urls;

foreach my $url (@sorted_urls) { print "$urls{$url}: $url\n"; }

Программа входит в цикл и на первой итерации выдает "my @sorted_urls = sort {$ urls {$ b} <=> $ urls {$ a}} keys% urls;".

У меня нет понимания о Perl, но эта задача должна быть тривиальной.

Конечно, я упускаю что-то очень очевидное, потому что этот скрипт был успешно использован многими.

Заранее спасибо.

1 Ответ

1 голос
/ 08 февраля 2012

Вы предоставляете каталог для скрипта? Потому что если нет, то и эта строка в вашем скрипте 

"/Computers_and_Internet/Data_Formats/XML_  _".
              "eXtensible_Markup_Language_/RSS/News_Aggregators/"

не является артефактом форматирования, тогда вы пытаетесь очистить несуществующую страницу.

...