Настройка пользовательского агента не работает с конфигурацией кукловода / тор - PullRequest
0 голосов
/ 19 апреля 2020

Я настроил скребок узла / кукловода, который успешно обходит «доступ запрещен» для веб-страниц https. По понятным причинам я хочу скрыть свою личность, поэтому настроил ее с помощью tor, но тут я сталкиваюсь с проблемами. Я настроил кукловода, чтобы показать мне скриншот, и он показывает, что доступ запрещен. При настройке с помощью tor пользовательский агент не устанавливается. Это где я застрял и интересно, если кто-то еще успешно настроил кукловод с помощью tor для очистки сайтов https?

const puppeteer = require('puppeteer');

// Get around client test
const preparePageForTests = async (page) => {
  // Pass the User-Agent Test.
  const userAgent = 'Mozilla/5.0 (X11; Linux x86_64)' +
    'AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.39 Safari/537.36';
  await page.setUserAgent(userAgent);
}

(async () => {
  const browser = await puppeteer.launch({
    args: ['--no-sandbox', '--proxy-server=socks5://127.0.0.1:9050'],
    headless: true,
  });
  const page = await browser.newPage();

  await preparePageForTests(page);

  const testUrl = '<https://www.example.com>';
  await page.goto(testUrl);

  const [response] = await Promise.all([
    page.waitForNavigation(3000),
    page.click('element being clicked'),
  ])

  await page.screenshot({path: 'example.png'});

  const result = await page.evaluate(() => {
    // data being scraped
  })

  await browser.close()
})();
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...