Почему HTML :: TreeBuilder показывает mojibake / странные символы в выводе? - PullRequest
Новая
       3

Почему HTML :: TreeBuilder показывает mojibake / странные символы в выводе?

0 голосов
/ 09 июня 2010

У меня проблема с HTML::TreeBuilder; это показывает mojibake / странные символы в выводе. 

use strict;
use WWW::Curl::Easy;
use HTML::TreeBuilder;
my $cookie_file ='/tmp/pcook';
my $curl = new WWW::Curl::Easy;
my $response_body;
my $charset = 'utf-8';
$DocOffline::charset = undef;
$curl->setopt (CURLOPT_URL, 'http://www.breitbart.com/article.php?id=D9G7CR5O0&show_article=1');
$curl->setopt ( CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/533.9 (KHTML, like Gecko) Chrome/6.0.400.0 Safari/533.9');
$curl->setopt ( CURLOPT_HEADER, 0);
$curl->setopt ( CURLOPT_FOLLOWLOCATION, 1);
$curl->setopt ( CURLOPT_AUTOREFERER, 1);
$curl->setopt ( CURLOPT_SSL_VERIFYPEER, 0);
$curl->setopt ( CURLOPT_COOKIEFILE, $cookie_file);
$curl->setopt ( CURLOPT_COOKIEJAR, $cookie_file);
$curl->setopt ( CURLOPT_HEADERFUNCTION, \&headerCallback );
open (my $fileb, ">", \$response_body);
$curl->setopt(CURLOPT_WRITEDATA,$fileb);
my $retcode = $curl->perform;
if ($retcode == 0) {
    my $dom_tree = HTML::TreeBuilder->new();
    $dom_tree->ignore_elements(qw(script style));
    $dom_tree->utf8_mode(1);
    $dom_tree->parse($response_body);
    $dom_tree->eof();
    print $dom_tree->as_HTML('<>&', ' ', {});
}
sub headerCallback {
my($data, $pointer) = @_;
$data =~ m/Content-Type:\s*.*;\s*charset=(.*)/;
if ($1) {
    $charset =  $1;
    $charset =~ s/[^a-zA-Z0-9_\-]*//g;
}
return length($data);
}

1 Ответ

2 голосов
/ 10 июня 2010

Вы не получили ответа в течение целого дня, потому что ваш код беспорядок как по форме, так и по содержанию, и вы даже не удосужились сделать сокращенный контрольный пример из всей вашей программы. MvanGeest также дал неверный диагноз в комментарии к вопросу.

Проблема в том, что люди, написавшие CMS Брейтбарта, не имеют ни малейшего понятия, они вставляют NCR &#151; (это непечатаемый символ и, возможно, даже недопустимый символ), когда им нужно было просто вставить символ — (U+2014 EM DASH); в конце концов, кодировка документа объявляется UTF-8. (Хорошо видно, что кодировкой должна была быть Windows-1252, где расположена кодовая точка 151 (десятичная).)

Вы можете обойти некомпетентность с их стороны с помощью явного шага декодирования / кодирования. 

use Encode qw(encode decode);
⋮
my $string_representation = $dom_tree->as_HTML('<>&', ' ', {});
my $octets = encode('UTF-8', decode('Windows-1252', $string_representation);
⋮
# send the correct Content-Type header in your CGI program before printing the HTTP body
print $octets;
...