Могу ли я извлечь информацию URL из запроса XHR, используя Selenium / BeautifulSoup? - PullRequest
0 голосов
/ 02 июня 2019

Я использую Selenium для прокрутки постов целевого сайта, которые используют бесконечную нагрузку. После проверки Инструментов разработчика, я вижу, что данные для недавно загруженных постов находятся в запросах XHR с динамическими URL, которые начинаются с ? Query_hash = ... .

Поскольку URL-адреса известны в инструментах разработчика, могу ли я получить программный доступ к ним с помощью BeautifulSoup? В идеале я хотел бы использовать Selenium для загрузки URL-адресов и получения значений URL-адресов в жестком коде, а не пытаться выяснить, как URL-адреса создаются с нуля. Возможно ли это?

1

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...