PHP Curl не может загрузить страницу - PullRequest
Новая
       1

PHP Curl не может загрузить страницу

0 голосов
/ 21 марта 2019

Я пытаюсь открыть определенную страницу (https://www.yellowpages.com.au) Я пробовал simplehtmldom Я также пробовал Curl Я пробовал с разными заголовками и добавил сертификат Я могу открывать другие страницы, но не эту и хотел бычтобы узнать, как сайт закрывает мне доступ и что я могу с этим сделать. 

$ch = curl_init();
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
curl_setopt($ch,CURLOPT_URL,$url);
curl_setopt($ch,CURLOPT_RETURNTRANSFER,1);
curl_setopt($ch, CURLOPT_USERAGENT, "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/525.13 (KHTML, like Gecko) Chrome/0.A.B.C Safari/525.13");


$certificate = "cacert-2019-01-23.pem";
curl_setopt($ch, CURLOPT_CAINFO, $certificate);
curl_setopt($ch, CURLOPT_CAPATH, $certificate);


$data = curl_exec($ch);
curl_close($ch);
echo $data;

Спасибо

1 Ответ

0 голосов
/ 21 марта 2019

URL https://www.yellowpages.com.au не обслуживает страницу, он просто перенаправляет вас (через HTTP Location Redirect ) на другой URL (точнее: Location: http://www.yellowpages.com.au/dataprotection?path=/), который фактически обслуживает страницу. чтобы загрузить этот URL с помощью curl, вы должны указать curl следовать HTTP Location redirects, что можно сделать с помощью CURLOPT_FOLLOWLOCATION ,

в дополнение к этому yellowpages.com.au блокирует запросы, в которых отсутствует заголовок User-Agent, libcurl не устанавливает заголовок User-Agent по умолчанию, вы можете установить это с помощью опции CURLOPT_USERAGENT , вот рабочий пример: 

<?php
$ch=curl_init('https://www.yellowpages.com.au');
curl_setopt($ch,CURLOPT_FOLLOWLOCATION,true);
curl_setopt($ch,CURLOPT_USERAGENT,'libcurl/'.(curl_version()['version']).' PHP/'.PHP_VERSION);
curl_exec($ch);
curl_close($ch);

выходы: 

$ php foo4.php

<!DOCTYPE html>
<html lang="en" class="no-js">
<head>
    <meta name="viewport" content="width=device-width, initial-scale=1, maximum-scale=1, user-scalable=no"/>
    <meta http-equiv="Content-Type" content="text/html; charset=UTF-8"/>
    <meta http-equiv="X-UA-Compatible" content="IE=edge"/>

        <title>Yellow Pages&reg; | Data Protection</title>

    <link rel="shortcut icon" href="/favicon.ico?v=2" />

    <!--[if (lt IE 9)&!(IEMobile)]><script src="/assets/ie/respond.sensis-9575467dfbc008e5b0d486dc4f481624.js" type="text/javascript" ></script><![endif]-->
    <!--[if (lt IE 10)&!(IEMobile)]><script src="/assets/ie/custom-event-ie9.js" type="text/javascript" ></script><![endif]-->
    <!--[if (lt IE 10)&!(IEMobile)]><link rel="stylesheet" href="/assets/ie/gradient-hacks-ie89-12453d23f1fec3d9d46e56cc6e023576.css"/><![endif]-->

        <script src="https://www.google.com/recaptcha/api.js?" async defer></script>
        <meta name="ROBOTS" content="NOINDEX, NOFOLLOW"/>

</head>
<body style="border-width: 0;
                background-color: #EDEDED;
                font-size: 85%;
                line-height: 1.3;
                margin: 0;
                font-family: Helvetica, sans-serif;" id="">


        <div style="padding: 10px 15px;
                    height: 70px;
                    min-height: 45px;
                    background-color: #ffce00;
                    background-image: linear-gradient(to right, #ffce00, #fedb55, #ffce00);
                    box-shadow: inset 0px -5px 7px -5px rgba(0, 0, 0, 0.35);">
            <div style="position: relative;
                        max-width: 1240px;
                        margin: 0 auto;">
                <a href="/">

(капо)

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.

Нет похожих вопросов

...