Какая кодировка для главной страницы Google?

Question

Когда главная страница Google связывается с Firefox или Chrome, она использует определенный тип кодировки (Perl говорит, что это utf.64). Тем не менее, я не могу декодировать его с помощью такого; это сжатый конец? Мне нужно закончить приложение на Perl, которое должно иметь смысл веб-страницы Google, используя Firefox (например, прокси).

Answer 1

Использование LiveHTTPHeaders:

http://www.google.com/

GET / HTTP/1.1
Host: www.google.com
User-Agent: ***
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
Accept-Language: en-us,en;q=0.7,tr;q=0.3
Accept-Encoding: gzip,deflate
Accept-Charset: UTF-8,*
Keep-Alive: 115
Connection: keep-alive
Cookie: ***

HTTP/1.1 200 OK
Date: Thu, 18 Mar 2010 15:29:03 GMT
Expires: -1
Cache-Control: private, max-age=0
Content-Type: text/html; charset=UTF-8
Content-Encoding: gzip
Server: gws
Content-Length: 4440
X-XSS-Protection: 0

, который показывает, что возвращенные данные сжаты и используется кодировка UTF-8.

#!/usr/bin/perl

use strict; use warnings;
use LWP::UserAgent;

my $ua = LWP::UserAgent->new();
$ua->show_progress(1);

my $response = $ua->get('http://google.com/');

if ( $response->is_success ) {
    print $response->decoded_content, "\n";
}

Answer 2

Если вы используете LWP или что-то совместимое, просто используйте HTTP :: Message :: decoded_content . Как кодировка контента, так и кодировка символов определяются автоматически.