как делать запросы к страницам, которые загружают JavaScript - PullRequest
0 голосов
/ 13 мая 2019

Я пытаюсь сделать запросы на эти две страницы:

url1 = https://antonioli.eu/it/IT/men/t/categories/shoes/sneakers

url2 = https://www.off --- white.com/ru / IT / men / t / seasons / ss2019

Я заявляю, что я не хочу использовать Selenium .

Я пытался с библиотекой запросы (также сеансы), scrapy with splash , HTMLSession из request_html (при попытке рендеринга HTML), dryscrape и urllib.request , но ни одна из этих вещей не нашла решения.

Есть ли другой способ получить результат страницы?

для каждого из этих "запросов", я получил такой общий ответ:


<!DOCTYPE html>
<html>
<head>
  <meta http-equiv="Content-Type" content="text/html; charset=UTF-8">
  <meta http-equiv="refresh" content="10;URL=/ciez2a">
</head>
<body>
  <script type="text/javascript">
function md5cycle(e,t)

....
....
....

    (new Fingerprint2).get(function(e,t){
      salt="768539096";
      document.cookie="ipp_sign="+e+"_"+salt+"_"+md5(e+salt)+"; expires=Tue, 31 Dec 2030 23:59:59 GMT; path=/;";
      ipp.setCookie();
      location.href="https://www.off---white.com/en/IT/men/t/seasons/ss2019?";
    })
  </script>
</body>
</html>

Я знаю, что эти страницы используют куки для отправки ответов, но я не знаю, как создавать поддельные куки.

Кто-то может мне помочь?

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...