Как ждать после запроса перед загрузкой с супом? - PullRequest
1 голос
/ 07 апреля 2019

Я пытаюсь запросить на сайте запрос работает, и я могу загрузить его

но то, что я пытаюсь получить с сайта, не восстанавливается с этого сервера, как показано здесь:

Экран загрузки

Как бы это исправить?

Код:

import requests
from bs4 import BeautifulSoup

res = requests.get('https://9xbuddy.com/process?url=https://streamango.com/embed/accssmlbkfmmsrcd')
soup = BeautifulSoup(res.text, 'html.parser')

links = [items.get('href') for items in soup.find_all('a', {'class': 'leading-normal sm:leading-none block sm:inline-block bg-blue px-6 sm:px-12 lg:px-6 py-2 text-white no-underline shadow hover:opacity-75'})]
print(links) #[] page sill loading

1 Ответ

0 голосов
/ 07 апреля 2019

Вы выпустили GET и проанализировали его результат, просто отлично.Но вы не попросили окончательный документ, который вы хотите.Вы попросили начальный загрузчик, который запускает отложенную загрузку некоторых веб-пакетов JS.

Если вы можете сопоставить исходный URL-адрес с последним документом, который вас интересует, напишите функцию для этого.В противном случае, если вам нужна помощь в интерпретации логики сайта с помощью javascript, чтобы найти окончательный URL, вы можете прибегнуть к Selenium .

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...