Сканирование защищенных сайтов с помощью кукловода - PullRequest
Новая
       30

Сканирование защищенных сайтов с помощью кукловода

0 голосов
/ 29 января 2019

Я пытаюсь сканировать некоторые сайты, например, http://www.faintinggoatdc.com/food/dinner-menu/ с кукловодом, но я все еще заблокирован.Не каждый раз, но в большинстве случаев и определенно после одной секунды страницы, даже когда я сам нажимаю на нее вручную в Chromium.Это сообщение об ошибке с логотипом StackPath:

"Извините, вы заблокированы. Этот веб-сайт использует службу безопасности для защиты от сетевых атак. Вы выполнили действие, которое вызвалослужба заблокировала ваш запрос. "

Это мой код, а также проблемный URL.Любая идея ?? 

async function getPuppeteer(url) {
    console.log("Launching Puppeteer for " + url)
    let  browser = await puppeteer.launch({ headless: false, slowMo: 250, width: 1280, height:900})
    const page = await browser.newPage();

    page.setUserAgent("Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36")
    let resp = await page.goto(url) 
    let content = await page.content()
    //browser.close()
}
await getPuppeteer("http://www.faintinggoatdc.com/food/dinner-menu/")

Само собой разумеется, что запрос тоже не работает.

Более того, несмотря на то, что я указал ширину 1280, он открывается врамка 785 пикселей.

...