Скрипт file_get_contents работает с некоторыми сайтами, но не с другими - PullRequest
Новая
       14

Скрипт file_get_contents работает с некоторыми сайтами, но не с другими

3 голосов
/ 01 августа 2011

Я хочу построить скрипт PHP, который анализирует HTML для определенных тегов.Я использовал этот блок кода, адаптированный из этого учебника : 

<?php 
$data = file_get_contents('http://www.google.com');
$regex = '/<title>(.+?)</';
preg_match($regex,$data,$match);
var_dump($match); 
echo $match[1];
?>

Скрипт работает с некоторыми веб-сайтами (например, Google, выше), но когда я пробую его с другими веб-сайтами(как, скажем, freshdirect), я получаю эту ошибку:

"Предупреждение: file_get_contents (http://www.freshdirect.com) [function.file-get-contents]: не удалось открыть поток: ошибка HTTP-запроса!"

Я видел кучу замечательных предложений в StackOverflow, например, чтобы включить extension=php_openssl.dll в php.ini. Но (1) моя версия php.ini не имелаextension=php_openssl.dll, и (2) когда я добавил его в раздел расширений и перезапустил сервер WAMP, для этого потока все еще не получилось.

Кто-то возражал бы, если бы меня указалиправильное направление? Большое спасибо!

Ответы [ 3 ]

4 голосов
/ 01 августа 2011

Требуется только пользовательский агент (на самом деле «любой», достаточно любой строки): 

file_get_contents("http://www.freshdirect.com",false,stream_context_create(
    array("http" => array("user_agent" => "any"))
));

См. дополнительные параметры .

Конечно, вы можете установить user_agent в своем ini: 

 ini_set("user_agent","any");
 echo file_get_contents("http://www.freshdirect.com");

... но я предпочитаю быть явным для следующего программиста, работающего над ним.

3 голосов
/ 01 августа 2011 
$html = file_get_html('http://google.com/');
$title = $html->find('title')->innertext;

Или, если вы предпочитаете preg_match, и вам действительно следует использовать cURL вместо fgc ... 

function curl($url){

    $headers[]  = "User-Agent:Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.9.2.13) Gecko/20101203 Firefox/3.6.13";
    $headers[]  = "Accept:text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8";
    $headers[]  = "Accept-Language:en-us,en;q=0.5";
    $headers[]  = "Accept-Encoding:gzip,deflate";
    $headers[]  = "Accept-Charset:ISO-8859-1,utf-8;q=0.7,*;q=0.7";
    $headers[]  = "Keep-Alive:115";
    $headers[]  = "Connection:keep-alive";
    $headers[]  = "Cache-Control:max-age=0";

    $curl = curl_init();
    curl_setopt($curl, CURLOPT_URL, $url);
    curl_setopt($curl, CURLOPT_HTTPHEADER, $headers);
    curl_setopt($curl, CURLOPT_ENCODING, "gzip");
    curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);
    curl_setopt($curl, CURLOPT_FOLLOWLOCATION, 1);
    $data = curl_exec($curl);
    curl_close($curl);
    return $data;

}


$data = curl('http://www.google.com');
$regex = '#<title>(.*?)</title>#mis';
preg_match($regex,$data,$match);
var_dump($match); 
echo $match[1];
0 голосов
/ 01 августа 2011

Еще один вариант: некоторые хосты отключают CURLOPT_FOLLOWLOCATION, поэтому рекурсивный - это то, что вы хотите, также регистрирует в текстовом файле любые ошибки.Также простой пример того, как использовать DOMDocument() для извлечения контента, очевидно, он не обширный, но кое-что, что вы можете создать в приложении. 

<?php 
function file_get_site($url){
(function_exists('curl_init')) ? '' : die('cURL Must be installed. Ask your host to enable it or uncomment extension=php_curl.dll in php.ini');
$curl = curl_init();
$header[0] = "Accept: text/xml,application/xml,application/xhtml+xml,";
$header[0] .= "text/html;q=0.9,text/plain;q=0.8,image/png,*/*;q=0.5";
$header[] = "Cache-Control: max-age=0";
$header[] = "Connection: keep-alive";
$header[] = "Keep-Alive: 300";
$header[] = "Accept-Charset: ISO-8859-1,utf-8;q=0.7,*;q=0.7";
$header[] = "Accept-Language: en-us,en;q=0.5";
$header[] = "Pragma: ";

curl_setopt($curl, CURLOPT_URL, $url);
curl_setopt($curl, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows NT 5.1; rv:5.0) Gecko/20100101 Firefox/5.0 Firefox/5.0');
curl_setopt($curl, CURLOPT_HTTPHEADER, $header);
curl_setopt($curl, CURLOPT_HEADER, true);
curl_setopt($curl, CURLOPT_REFERER, $url);
curl_setopt($curl, CURLOPT_ENCODING, 'gzip,deflate');
curl_setopt($curl, CURLOPT_AUTOREFERER, true);
curl_setopt($curl, CURLOPT_RETURNTRANSFER, true);
curl_setopt($curl, CURLOPT_TIMEOUT, 60);

$html = curl_exec($curl);

$status = curl_getinfo($curl);
curl_close($curl);

if($status['http_code']!=200){
    if($status['http_code'] == 301 || $status['http_code'] == 302) {
        list($header) = explode("\r\n\r\n", $html, 2);
        $matches = array();
        preg_match("/(Location:|URI:)[^(\n)]*/", $header, $matches);
        $url = trim(str_replace($matches[1],"",$matches[0]));
        $url_parsed = parse_url($url);
        return (isset($url_parsed))? file_get_site($url):'';
    }
    $oline='';
    foreach($status as $key=>$eline){$oline.='['.$key.']'.$eline.' ';}
    $line =$oline." \r\n ".$url."\r\n-----------------\r\n";
    $handle = @fopen('./curl.error.log', 'a');
    fwrite($handle, $line);
    return FALSE;
}
return $html;
}


function get_content_tags($source,$tag,$id=null,$value=null){
    $xml = new DOMDocument();
    @$xml->loadHTML($source);

    foreach($xml->getElementsByTagName($tag) as $tags) {
        if($id!=null){
            if($tags->getAttribute($id)==$value){
                return $tags->getAttribute('content');
            }
        }
        return $tags->nodeValue;
    }
}


$source = file_get_site('http://www.freshdirect.com/about/index.jsp');

echo get_content_tags($source,'title'); //FreshDirect

echo get_content_tags($source,'meta','name','description'); //Online grocer providing high quality fresh......

?>
...