PHP file_get_contents, Curl или DOMDocument получают 400 неверных запросов или 403 запрещенных - PullRequest
Новая
       61

PHP file_get_contents, Curl или DOMDocument получают 400 неверных запросов или 403 запрещенных

0 голосов
/ 02 ноября 2019

Этот конкретный сервер блокирует все запросы. Мне нужно получить контент с этого сайта. Я уже попробовал все, что нашел, но ничего не работает.

Я попробовал этот код со всеми видами вариаций: 

    $context = stream_context_create(
    array(
        "http" => array(
            "header" => "User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36"
        )
    )
);

echo file_get_contents("https://www.idealista.pt", false, $context);

Я уже попробовал curl: 

$url="https://www.idealista.pt";
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch,CURLOPT_USERAGENT,'Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.13) Gecko/20080311 Firefox/2.0.0.13');
$html = curl_exec($ch);
curl_close($ch);

Инаконец-то попробовал DOMdocument: 

$dom = new DOMDocument();
libxml_use_internal_errors(true);
$dom->loadHTMLFile('https://www.idealista.pt');

$xpath = new DOMXPath($dom);
$l1 = $xpath->query('the_path_i_need');
$at = $c->getAttribute('attr_I_need');

Весь этот код работает на других сайтах, но не на этом.

...