Я настроил скребок узла / кукловода, который успешно обходит «доступ запрещен» для веб-страниц https. По понятным причинам я хочу скрыть свою личность, поэтому настроил ее с помощью tor, но тут я сталкиваюсь с проблемами. Я настроил кукловода, чтобы показать мне скриншот, и он показывает, что доступ запрещен. При настройке с помощью tor пользовательский агент не устанавливается. Это где я застрял и интересно, если кто-то еще успешно настроил кукловод с помощью tor для очистки сайтов https?
const puppeteer = require('puppeteer');
// Get around client test
const preparePageForTests = async (page) => {
// Pass the User-Agent Test.
const userAgent = 'Mozilla/5.0 (X11; Linux x86_64)' +
'AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.39 Safari/537.36';
await page.setUserAgent(userAgent);
}
(async () => {
const browser = await puppeteer.launch({
args: ['--no-sandbox', '--proxy-server=socks5://127.0.0.1:9050'],
headless: true,
});
const page = await browser.newPage();
await preparePageForTests(page);
const testUrl = '<https://www.example.com>';
await page.goto(testUrl);
const [response] = await Promise.all([
page.waitForNavigation(3000),
page.click('element being clicked'),
])
await page.screenshot({path: 'example.png'});
const result = await page.evaluate(() => {
// data being scraped
})
await browser.close()
})();