Можно ли читать входящие HTTP-запросы в программах автоматизации, таких как Selenium или Puppeteer?

Question

Я хотел бы прочитать все входящие HTTP-запросы при использовании Selenium (или любого другого программного обеспечения для автоматизации), я хотел бы прочитать данные (заголовки, ответ) из всех этих запросов (что является только примером), когда я посещаю веб-сайт:

Есть ли способ, которым я могу это сделать? В таком случае как?

Answer 1

В Puppeteer вы можете получить доступ к заголовкам запросов / ответов, например:

page.on('request', req => {
    let headers = req.headers();
    console.log(headers);
});
page.on('response', resp => {
    let headers = resp.headers();
    console.log(headers);
});

Для селена вы можете использовать прокси, такие как mitmproxy или browsermob-proxy или если вы используете python, вы можете использовать селеновый провод

Answer 2

Вы можете прикрепить к событию response . Объект response имеет свойство request . Таким образом, вы должны быть в состоянии получить все это.

const responses = new Map();
page.on('response', r => responses.set(r.url(), r));

// Load and re-load to make sure it's cached.
await page.goto('https://www.some.page.com');