Соскребая проблемы веб-страницы - PullRequest
0 голосов
/ 19 сентября 2019

У меня возникли непредвиденные проблемы с очисткой веб-страницы, похоже, возвращается не та страница, мой код:

<?php

function get_random_keyword() {
    $f_contents = file("keywords.txt"); 
    return $f_contents[rand(0, count($f_contents) - 1)];    
}

function getHtml($url) {
    $ch = curl_init();
    curl_setopt($ch, CURLOPT_URL, $url);
    curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
    curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false); 
    curl_setopt($ch, CURLOPT_ACCEPT_ENCODING, "gzip");
    curl_setopt($ch, CURLOPT_HEADER, true);        
    curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.2) Gecko/20090729 Firefox/3.5.2 GTB5');
    $html = curl_exec($ch); 
    if (curl_errno($ch)) { 
       echo 'Curl error: ' . curl_error($ch); 
    }           
    curl_close($ch);        
    return $html;
}

?>

Для вызова функций и выполнения кода:

$html = getHtml("https://www.amazon.co.uk/s?k=" . str_replace("lcd tv", " ", "+")); 

Это довольно просто, ничего сложного, в моем тестировании домашняя страница постоянно показывается независимо от того, какое ключевое слово для поиска я использую, я вообще не хочу сильно начищать сайт, это не такмое намерение, я только буквально собираюсь делать поиск в день, API не обсуждается, так как у меня еще нет доступа, я не уверен, что еще я могу попробовать, я предполагаю, что что-то упустил из своегофункция curl, любая помощь будет оценена.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...