Webscraping продуктов Walmarts с кукольником на Google Compute Platform - PullRequest
0 голосов
/ 16 апреля 2020

Я пытаюсь использовать кукловод на облачной платформе Google (VM Instance). Код работает нормально на моей локальной машине. Но когда я запускаю его на GCP, я всегда получаю запрещенный ответ с запросом. Есть ли какая-либо конфигурация, которую мне нужно установить на GCP? * Пример 1001 *

. js

const puppeteer = require('puppeteer');
(async () => {
        const browser = await puppeteer.launch({
        args: [
            '--no-sandbox',
        ],
    });
        const page = await browser.newPage();
        await page.goto('https://walmart.com');
        const bodyHTML = await page.evaluate(() => document.body.innerHTML);
        console.log(bodyHTML);
        await browser.close();
})();

пакет. json

{
  "name": "example",
  "version": "1.0.0",
  "description": "",
  "main": "example.js",
  "scripts": {
    "test": "echo \"Error: no test specified\" && exit 1"
  },
  "author": "",
  "license": "ISC",
  "dependencies": {
    "puppeteer": "^3.0.0"
  }
}

пример запуска. js

node example.js 
Forbidden
1587058087-94-320-69028280

, если я перехожу на анализ www.target.com, все работает нормально.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...