Puppeteer терпит неудачу в контейнере докера: "браузер отключился!" - PullRequest
Новая
       35

Puppeteer терпит неудачу в контейнере докера: "браузер отключился!"

0 голосов
/ 23 февраля 2019

Я написал скрипт, который использует Puppeteer v1.12.2 для получения некоторой информации с веб-страницы.Он работает на моем локальном компьютере (Ubuntu 18.04) с узлом v10.15.1 и работает на моем компьютере в док-контейнере с node:10-slim.

Я поместил изображение в реестр контейнеров Google Cloud и вытащил его на компьютере с Google Compute Engine (Ubuntu 18.04), и там оно перестало работать, когда Puppeteer загружает страницу: 

Error: Navigation failed because browser has disconnected!
at CDPSession.LifecycleWatcher._eventListeners.helper.addEventListener (/www/node_modules/puppeteer/lib/LifecycleWatcher.js:47:107)
at CDPSession.emit (events.js:182:13)
at CDPSession._onClosed (/www/node_modules/puppeteer/lib/Connection.js:215:10)
at Connection._onClose (/www/node_modules/puppeteer/lib/Connection.js:138:15)
at WebSocketTransport._ws.addEventListener.event (/www/node_modules/puppeteer/lib/WebSocketTransport.js:45:22)
at WebSocket.onClose (/www/node_modules/ws/lib/event-target.js:124:16)
at WebSocket.emit (events.js:182:13)
at WebSocket.emitClose (/www/node_modules/ws/lib/websocket.js:180:10)
at Socket.socketOnClose (/www/node_modules/ws/lib/websocket.js:805:15)
at Socket.emit (events.js:182:13)
  -- ASYNC --
at Frame.<anonymous> (/www/node_modules/puppeteer/lib/helper.js:108:27)
at Page.goto (/www/node_modules/puppeteer/lib/Page.js:662:49)
at Page.<anonymous> (/www/node_modules/puppeteer/lib/helper.js:109:23)
at scrapeLicence (/www/scrapeLicenceById.js:30:33)
at process._tickCallback (internal/process/next_tick.js:68:7)

Iвидел другие обсуждения этой ошибки "Ошибка навигации из-за отключения браузера!"исправьте это, добавив await s, но я уже await использую каждый метод, который я вызываю для объектов браузера / страницы, поэтому я выполняю весь сценарий процедурно без обратных вызовов.Он работает, как и ожидалось, на моем локальном компьютере, но не на экземпляре GCE.Почему он ведет себя по-другому на другой машине?и что заставляет браузер «отключаться»?

Обновление: вот минимальное воспроизведение сценария с ошибкой:

scrape.js 

const puppeteer = require('puppeteer');
const verbose = true;

async function run() {
    try {
        const browser = await puppeteer.launch({
            args: [
                '--no-sandbox',
                '--disable-setuid-sandbox',
                '--disable-dev-shm-usage',
                '--disable-accelerated-2d-canvas',
                '--disable-gpu',
                '--window-size=1920x1080',
            ],
        });

        const pageUrl = 'https://google.com';

        const page = await browser.newPage();
        page.once('load', () => {
            if (verbose) console.log(`Page loaded.`);
        });

        await page.setRequestInterception(true);

        await page.setViewport({ width: 1280, height: 800 });

        const response = await page.goto(pageUrl, {
            timeout: 25000,
            waitUntil: 'networkidle2',
        });
        if (response._status >= 400) {
            console.error('Error from server:', response);
            throw new Error('Error response from server');
        }

        console.log('page ok?');

        await browser.close();
    } catch (e) {
        console.error(e);
        process.exit(1);
    }
}

run();

А вот Dockerfile , который я использую для создания образа: 

FROM node:10-slim

# -------- install chrome ----------
# See https://crbug.com/795759
RUN apt-get update && apt-get install -yq libgconf-2-4

RUN apt-get update && apt-get install -y wget --no-install-recommends \
    && wget -q -O - https://dl-ssl.google.com/linux/linux_signing_key.pub | apt-key add - \
    && sh -c 'echo "deb [arch=amd64] http://dl.google.com/linux/chrome/deb/ stable main">> /etc/apt/sources.list.d/google.list' \
    && apt-get update \
    && apt-get install -y google-chrome-stable fonts-ipafont-gothic fonts-wqy-zenhei fonts-thai-tlwg fonts-kacst ttf-freefont \
      --no-install-recommends \
    && rm -rf /var/lib/apt/lists/* \
    && apt-get purge --auto-remove -y curl \
    && rm -rf /src/*.deb

ADD https://github.com/Yelp/dumb-init/releases/download/v1.2.0/dumb-init_1.2.0_amd64 /usr/local/bin/dumb-init
RUN chmod +x /usr/local/bin/dumb-init

# ------------------

# Set work directory to /www
WORKDIR /www

# Install app dependencies
COPY package.json package.json
RUN yarn install

# Copy script files
COPY . .

# Runs "/usr/bin/dumb-init -- node scrape.js"
ENTRYPOINT ["dumb-init", "--"]
CMD ["node", "scrape.js"]

1 Ответ

0 голосов
/ 27 февраля 2019

Это та же самая проблема, которая затрагивает этот ответ .

В основном кукловод 1.12.2 устанавливает версию хрома для разработки 73, в которой есть небольшие ошибки, которые мешают ему загружать определенный веб-сайт / скрипт и / или мешают ему работать на определенной платформе.

Решением является либо использование предыдущей версии кукловода 1.11.0, либо другая стабильная версия Chrome.

Именно поэтому executablePath: 'google-chrome' имеет значение.Он использовал стабильную версию, а не предоставленную версию.

...