Кукловод не работает на VPS (DigitalOcean) - PullRequest
Новая
       26

Кукловод не работает на VPS (DigitalOcean)

0 голосов
/ 31 октября 2018

Я в капле на DigitalOcean , и я получаю эту ошибку. 

(node:5549) UnhandledPromiseRejectionWarning: TimeoutError: Navigation Timeout Exceeded: 300000ms exceeded
    at Promise.then (/var/www/screenshot/node_modules/puppeteer/lib/NavigatorWatcher.js:94:
    at <anonymous>

URL, который я пытаюсь сделать на скриншоте: https://www.pontofrio.com.br/

Я добавил пользовательский агент для обхода защиты от запроса без головы.

Он работал на моей локальной машине , но когда я запускаю свой VPS, он выдает ошибку, даже если я увеличиваю значение тайм-аута.

Я тестирую с почтальоном.

Локальный компьютер Windows 8.1 x64 - рабочий

Виртуальная машина Linux 16.04 x64 - Рабочая

VPS Linux 16.04 x64 - сбой

Вот код 

const bodyParser = require('body-parser');
const cors = require('cors');
const express = require('express');
const fs = require('fs');
const mkdirp = require('mkdirp');
const path = require('path');
const puppeteer = require('puppeteer');

const PORT = 5005;
const userAgent = 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3542.0 Safari/537.36';

express()
    .use(cors())
    // parse application/x-www-form-urlencoded
    .use(bodyParser.urlencoded({ extended: true }))
    // parse application/json
    .use(bodyParser.json())
    .post('/screenshot', (req, res) => {
        let result;
        const filename = req.body.filename;
        const filepath = path.join(__dirname, 'images');
        const url = req.body.url;
        const wdt = req.body.width || 1366;
        const hgt = req.body.height || 768;

        if (!fs.existsSync(filepath)) mkdirp.sync(filepath);

        (async () => {
            const browser = await puppeteer.launch({
                executablePath: '/opt/google/chrome/chrome',
                args: [
                    '--disable-setuid-sandbox',
                    '--disable-gpu',
                    '--no-first-run',
                    '--no-sandbox',
                ]
            });
            const page = await browser.newPage();

            await page.setUserAgent(userAgent);

            await page.goto(url, { waitUntil: 'networkidle2', timeout: 300000 });
            await page.setViewport({ width: parseInt(wdt), height: parseInt(hgt) });
            await page.screenshot({ path: `${filepath}/${filename}.jpg` });

            await browser.close();

            if (fs.existsSync(path.join(`${filepath}/${filename}.jpg`))) {
                result = `Imagem salva em: ${filepath}/${filename}.jpg`;
            } else {
                result = 'Erro ao salvar imagem, tente novamente.';
            }

            res.send(result);
        })();
    })
    .use('/screenshot', express.static((path.join(__dirname, '/images'))))
    .listen(PORT, () => console.log(`Rodando na porta ${PORT}`));

1 Ответ

0 голосов
/ 06 ноября 2018

решаемые

Проблема была в блоке IP, который я могу исправить с помощью прокси.

Теперь я использую --proxy-server аргумент, подобный этому: 

const browser = await puppeteer.launch({
    executablePath: '/opt/google/chrome/chrome',
    args: [
        '--disable-setuid-sandbox',
        '--no-sandbox',
        '--disable-gpu',
        '--no-first-run',
        `--proxy-server=${proxyServer}`,
    ]
});

А теперь скрипт работает!

Спасибо всем за помощь!

...