PHP: cURL и отслеживать все перенаправления - PullRequest
Новая
       7

PHP: cURL и отслеживать все перенаправления

8 голосов
/ 13 июля 2010

Я пытаюсь свернуть URL-адрес и отслеживать каждый отдельный URL-адрес, через который он проходит. По какой-то причине я не могу сделать это без выполнения рекурсивных вызовов cURL, что не идеально. Возможно, я упускаю какой-то простой вариант. Мысли 

<code> $url = "some url with redirects";
 $ch = curl_init($url);
 curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
 curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);
 curl_setopt($ch, CURLOPT_HEADER, true);
 curl_setopt($ch, CURLOPT_NOBODY, false);
 curl_setopt($ch, CURLOPT_TIMEOUT, 10);
 curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, 10);
 curl_setopt($ch, CURLOPT_USERAGENT, "Mozilla/5.0 (Macintosh; U; Intel Mac OS X; en-US; rv:1.8.1) Gecko/20061024 BonEcho/2.0");

 $html = curl_exec($ch);
 $info = array();
 if(!curl_errno($ch))
 {
      $info = curl_getinfo($ch);
      echo "<pre>";
      print_r($info);
      echo "
"; }

и я получаю ответ, подобный этому 

Array
(
    [url] => THE LAST URL THAT WAS HIT
    [content_type] => text/html; charset=utf-8
    [http_code] => 200
    [header_size] => 1942
    [request_size] => 1047
    [filetime] => -1
    [ssl_verify_result] => 0
    [redirect_count] => 2   <---- I WANT THESE
    [total_time] => 0.799589
    [namelookup_time] => 0.000741
    [connect_time] => 0.104206
    [pretransfer_time] => 0.104306
    [size_upload] => 0
    [size_download] => 49460
    [speed_download] => 61856
    [speed_upload] => 0
    [download_content_length] => 49460
    [upload_content_length] => 0
    [starttransfer_time] => 0.280781
    [redirect_time] => 0.400723
)

Ответы [ 3 ]

10 голосов
/ 13 июля 2010

У вас есть 

curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);

Это означает, что cURL будет следовать за перенаправлениями и вернет вам только последнюю страницу без заголовка Location.

Для отслеживания местоположения вручную: 

function getWebPage($url, $redirectcallback = null){
    $ch = curl_init($url);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
    curl_setopt($ch, CURLOPT_FOLLOWLOCATION, false);
    curl_setopt($ch, CURLOPT_HEADER, true);
    curl_setopt($ch, CURLOPT_NOBODY, false);
    curl_setopt($ch, CURLOPT_TIMEOUT, 10);
    curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, 10);
    curl_setopt($ch, CURLOPT_USERAGENT, "Mozilla/5.0 (Macintosh; U; Intel Mac OS X; en-US; rv:1.8.1) Gecko/20061024 BonEcho/2.0");

    $html = curl_exec($ch);
    $http_code = curl_getinfo($ch, CURLINFO_HTTP_CODE);
    if ($http_code == 301 || $http_code == 302) {
        list($httpheader) = explode("\r\n\r\n", $html, 2);
        $matches = array();
        preg_match('/(Location:|URI:)(.*?)\n/', $httpheader, $matches);
        $nurl = trim(array_pop($matches));
        $url_parsed = parse_url($nurl);
        if (isset($url_parsed)) {
            if($redirectcallback){ // callback
                 $redirectcallback($nurl, $url);
            }
            $html = getWebPage($nurl, $redirectcallback);
        }
    }
    return $html;
}

function trackAllLocations($newUrl, $currentUrl){
    echo $currentUrl.' ---> '.$newUrl."\r\n";
}

getWebPage('some url with redirects', 'trackAllLocations');
4 голосов
/ 03 апреля 2011

В libcurl вы можете использовать переменную CURLINFO_REDIRECT_URL getinfo, чтобы узнать URL, на который будет перенаправлен , если он включен. Это позволяет программам легко проходить перенаправления самостоятельно.

Этот подход намного лучше и проще, чем синтаксический анализ Location: заголовков, предложенных другими здесь, так как тогда ваш код должен перестраивать относительные пути и т. Д. CURLINFO_REDIRECT_URL исправляет это для вас автоматически.

В привязку PHP / CURL добавлена ​​ поддержка этой функции в PHP 5.3.7: 

$url = curl_getinfo($ch, CURLINFO_REDIRECT_URL)

Коммит, который исправил это:

https://github.com/php/php-src/commit/689268a0ba4259c8f199cae6343b3d17cab9b6a5

2 голосов
/ 01 апреля 2011

Могу ли я дать рекомендацию ... 

 preg_match('/(Location:|URI:)(.*?)\n/', $httpheader, $matches);

изменить регулярное выражение на /(Location:|URI:)(.*?)\n/i, чтобы оно не чувствительно к регистру.Я заметил, что есть некоторые сайты / места, которые используют местоположение: где буква L в нижнем регистре.

Просто мысль, чтобы помочь тем, кто задавался вопросом, почему иногда это не работает ... посмотрите на это.

...