Использование cURL для загрузки источника HTML сайта, но получение файла, отличного от запланированного - PullRequest
Новая
       31

Использование cURL для загрузки источника HTML сайта, но получение файла, отличного от запланированного

4 голосов
/ 12 ноября 2011

Я пытаюсь использовать cURL и PHP для загрузки исходного кода HTML (как он отображается в браузере) здесь . Но вместо фактического исходного кода возвращается это значение (ссылка на метаобновление установлена ​​в 0). 

<html>
    <head><title>Object moved</title></head>
    <body>
        <h2>Object moved to <a href="https://login.live.com/login.srf?wa=wsignin1.0&amp;rpsnv=11&amp;checkda=1&amp;ct=1321044850&amp;rver=6.1.6195.0&amp;wp=MBI&amp;wreply=http:%2F%2Fwww.windowsphone.com%2Fen-US%2Fapps%2Fea39f002-ac30-e011-854c-00237de2db9e&amp;lc=1033&amp;id=268289">here</a>.
        </h2>
    </body>
</html>

Я пытаюсь подделать реферальный заголовок, чтобы он был сайтом, но, похоже, я делаю это неправильно. Код ниже. Какие-либо предложения? Спасибо 

$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, 'http://www.windowsphone.com/en-US/apps/ea39f002-ac30-e011-854c-00237de2db9e');
curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows NT 5.1) AppleWebKit/535.6 (KHTML, like Gecko) Chrome/16.0.897.0 Safari/535.6'); 
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_HTTP_VERSION, CURL_HTTP_VERSION_1_1);
curl_setopt($ch, CURLOPT_AUTOREFERER, false);
curl_setopt($ch, CURLOPT_REFERER, "http://www.windowsphone.com/en-US/apps/ea39f002-ac30-e011-854c-00237de2db9e");

$html = curl_exec($ch);
curl_close($ch);

Ответы [ 3 ]

6 голосов
/ 12 ноября 2011

Добавьте параметр curl, чтобы следовать перенаправлениям: 

curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);

Если это метаобновление, а не перемещенный заголовок HTTP, см .: PHP: может ли CURL следовать мета-перенаправлениям

Как упомянуто flesk, вам также может понадобиться хранить куки.

2 голосов
/ 12 ноября 2011 
$ch = curl_init();
 curl_setopt($ch, CURLOPT_URL, 'http://www.windowsphone.com/en-US/apps/ea39f002-ac30-e011-854c-00237de2db9e');
curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows NT 5.1) AppleWebKit/535.6 (KHTML, like Gecko) Chrome/16.0.897.0 Safari/535.6'); 
curl_setopt($ch, CURLOPT_HEADER, true);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_COOKIEFILE, "cookie.txt");
curl_setopt($ch, CURLOPT_COOKIEJAR, "cookie.txt");
curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, 30);
curl_setopt($ch, CURLOPT_REFERER, "http://www.windowsphone.com");
$html = curl_exec($ch);
curl_close($ch);
echo $html;
1 голос
/ 12 ноября 2011

Проблема не в реферере, а в том, что вам нужно включить куки, чтобы он работал.

Попробуйте что-то вроде этого: 

curl_setopt($ch, CURLOPT_COOKIEJAR, "cookie.txt");
curl_setopt($ch, CURLOPT_COOKIEFILE, "cookie.txt");

Вы должны запросить страницу дважды. Сначала разрешите перенаправлениям получить cookie с сайта login.live.com, затем повторите запрос с набором cookie.

...