как выполнить веб-скаринг с помощью laravel и на стороне клиента - PullRequest
0 голосов
/ 24 октября 2018

Я хочу получить html-содержимое из URL-адреса со стороны клиента в javascript или любых других альтернативах

Я пробовал серверную часть в php, но веб-сайт, который я пытаюсь получить, продолжает блокировать ip моего сервера.адрес, и я попробовал Ajax так, как он говорит мне, что Cross-Origin запрос заблокирован: я пытался разрешить, но ничего не помогло.я хочу передать запрос на веб-сайте, который я пытаюсь получить из веб-браузера клиента, чтобы избежать запрета

это примеры из запросов php и ajax

<?php

        curl_setopt_array($curl, array(
    CURLOPT_URL => "https://www.example.com/",
            CURLOPT_RETURNTRANSFER => true,
            CURLOPT_ENCODING => "",
            CURLOPT_MAXREDIRS => 10,
            CURLOPT_TIMEOUT => 30,

            CURLOPT_HTTPHEADER => array(
                "accept: application/json, text/javascript, */*; q=0.01",
                "accept-encoding: gzip, deflate, br",
                "accept-language: en-US,en;q=0.8,en;q=0.6",
                "cache-control: no-cache",
                "content-type: application/json; charset=UTF-8",
                "origin: https://www.example.com/",
                "referer: http://www.example.com/",
                "user-agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.110 Safari/537.36",
                "x-microsoftajax: Delta=true"
            ),
        ));

         curl_exec($curl);


?>

<script type="text/javascript">

    $.ajax({
  url: 'http://www.example.com/',
  dataType: "html",
  success: function(data) {
    // your code to handle data here
  }
});

</script>   

1 Ответ

0 голосов
/ 24 октября 2018

Если вы используете Ajax для отправки запроса на ваш сервер, а затем (в ответ на это) делаете запрос с вашего сервера на сторонний сервер: этот запрос поступает с вашего сервера.

Существуетнет способа передать запрос через прокси-сервер и получить его от компьютера, на котором запущен браузер.


Вместо попытки уклониться от ограничений, налагаемых на вас третьей стороной:Вести переговоры с ними.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...