Проблема получения HTTPS-ссылки - PullRequest
Новая
       8

Проблема получения HTTPS-ссылки

0 голосов
/ 05 декабря 2011

Последние несколько дней я пытался получить запрос с веб-сайта, но безуспешно.Я получаю сообщение об ошибке 301. Кто-нибудь может мне помочь захватить содержимое этой страницы: https://pre.corrupt -net.org / search.php? Search = Lasse_Stefanz-Bara_Du-SE-CD-FLAC-1995-LoKET

Я с нетерпением жду вашего ответа.

РЕДАКТИРОВАТЬ: Это PHP-функция, которую я использовал: 

function http_request(
    $verb = 'GET',             /* HTTP Request Method (GET and POST supported) */
    $ip,                       /* Target IP/Hostname */
    $port = 80,                /* Target TCP port */
    $uri = '/',                /* Target URI */
    $getdata = array(),        /* HTTP GET Data ie. array('var1' => 'val1', 'var2' => 'val2') */
    $postdata = array(),       /* HTTP POST Data ie. array('var1' => 'val1', 'var2' => 'val2') */
    $cookie = array(),         /* HTTP Cookie Data ie. array('var1' => 'val1', 'var2' => 'val2') */
    $custom_headers = array(), /* Custom HTTP headers ie. array('Referer: http://localhost/ */
    $timeout = 1000,           /* Socket timeout in milliseconds */
    $req_hdr = false,          /* Include HTTP request headers */
    $res_hdr = false           /* Include HTTP response headers */
    )
{
    $ret = '';
    $verb = strtoupper($verb);
    $cookie_str = '';
    $getdata_str = count($getdata) ? '?' : '';
    $postdata_str = '';
    foreach ($getdata as $k => $v)
        $getdata_str .= urlencode($k) .'='. urlencode($v);
    foreach ($postdata as $k => $v)
        $postdata_str .= urlencode($k) .'='. urlencode($v) .'&';
    foreach ($cookie as $k => $v)
        $cookie_str .= urlencode($k) .'='. urlencode($v) .'; ';
    $crlf = "\r\n";
    $req = $verb .' '. $uri . $getdata_str .' HTTP/1.1' . $crlf;
    $req .= 'Host: '. $ip . $crlf;
    $req .= 'User-Agent: Mozilla/5.0 Firefox/3.6.12' . $crlf;
    $req .= 'Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8' . $crlf;
    $req .= 'Accept-Language: en-us,en;q=0.5' . $crlf;
    $req .= 'Accept-Encoding: deflate' . $crlf;
    $req .= 'Accept-Charset: ISO-8859-1,utf-8;q=0.7,*;q=0.7' . $crlf;
    foreach ($custom_headers as $k => $v)
        $req .= $k .': '. $v . $crlf;
    if (!empty($cookie_str))
        $req .= 'Cookie: '. substr($cookie_str, 0, -2) . $crlf;
    if ($verb == 'POST' && !empty($postdata_str)){
        $postdata_str = substr($postdata_str, 0, -1);
        $req .= 'Content-Type: application/x-www-form-urlencoded' . $crlf;
        $req .= 'Content-Length: '. strlen($postdata_str) . $crlf . $crlf;
        $req .= $postdata_str;
    }   
    else $req .= $crlf;
    if ($req_hdr)
        $ret .= $req;
    if (($fp = @fsockopen($ip, $port, $errno, $errstr)) == false)
        return "Error $errno: $errstr\n";
    stream_set_timeout($fp, 0, $timeout * 1000);
    fputs($fp, $req);
    while ($line = fgets($fp)) $ret .= $line;
    fclose($fp);
    if (!$res_hdr)
        $ret = substr($ret, strpos($ret, "\r\n\r\n") + 4);
    return $ret;
}

1 Ответ

2 голосов
/ 05 декабря 2011

Во-первых, 301 не является «ошибкой» как таковой , это означает, что вы перенаправлены.Вам необходимо проанализировать заголовки ответа, принять значение заголовка Location: (которое требуется для спецификации протокола HTTP, присутствующего в ответе на перенаправление) и запросить также URI.

Во-вторых, вышеприведенная функция выполняетПо-видимому, не обеспечивает никакой поддержки для доступа к URL-адресам HTTPS.Для этого вам нужно установить расширение OpenSSL для вашего экземпляра PHP, и вам также нужно как-то его назвать.Вы можете использовать вышеупомянутую функцию, передавая ssl:// или tls:// перед адресом в параметре $ip, но вы не можете просто передать IP.

В-третьих, обычным способомделать что-то подобное с расширением cURL .Вы могли бы сделать что-то вроде этого: 

$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, 'https://pre.corrupt-net.org/search.php?search=Lasse_Stefanz-Bara_Du-SE-CD-FLAC-1995-LoKET'); // Set the URL
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, TRUE); // Follow redirects
curl_setopt($ch, CURLOPT_RETURNTRANSFER, TRUE); // Get the result from the execution

if (($result = curl_exec($ch)) === FALSE) { // Execute the request
  echo "cURL failed! Error: ".curl_error($ch);
} else {
  echo "Success! Result: $result";
}

curl_close($ch);

В качестве альтернативы, если cURL недоступен или вы по какой-то причине не хотите его использовать, вы можете использовать мой класс HTTPRequest , который совместим с PHP4 и не требует никаких расширений (кроме OpenSSL для запросов HTTPS).Документировано (ish) в комментариях вверху скрипта.Вы могли бы сделать что-то вроде этого: 

$request = new httprequest(); // Create an object

// Set the request URL
if (!$request->setRequestURL('https://pre.corrupt-net.org/search.php?search=Lasse_Stefanz-Bara_Du-SE-CD-FLAC-1995-LoKET')) echo "Failed! Error: ".$request->getLastErrorStr()."<br>\r\n";
// Send the request
if (!$request->sendRequest()) echo "Failed! Error: ".$request->getLastErrorStr()."<br>\r\n";

echo "Success! Result: ".$request->getResponseBodyData(TRUE);

В дополнение к этому, многие менеджеры / провайдеры Scene PreDB не слишком заинтересованы в автоматическом очистке, и вы можете быть забанены ...

...