Получайте последующие HTTP-запросы при очистке страницы с помощью Scrapy или Selenium - PullRequest
0 голосов
/ 08 июня 2019

Когда я часто удаляю страницу, возникает несколько пустых HTTP-запросов, запускаемых первым GET-запросом, либо включаемых объектов (изображений, сценариев, таблиц стилей), либо динамически запускаемых через javascript (прогрессивно загружаемый контент).

Я хочу захватить эти запросы, как URL-адреса запросов, так и ответы.Есть ли способ сделать это с помощью Scrapy / Spalsh или Selenium?Решение, которое я сейчас рассматриваю, состоит в том, чтобы объединить Scrapy и Scapy, но я не хочу переусердствовать, если есть более простой способ сделать это.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...