Как вернуть элемент, которого нет в исходном коде страницы, используя Puppeteer - PullRequest
Новая
       53

Как вернуть элемент, которого нет в исходном коде страницы, используя Puppeteer

0 голосов
/ 01 мая 2020

Я пытаюсь вернуть некоторую информацию со страницы, используя следующий код, чтобы выбрать элемент страницы и вернуть некоторые значения внутри него: 

const puppeteer = require('puppeteer');

function run (numberOfPages) {
    return new Promise(async (resolve, reject) => {
        try {
            if (!numberOfPages) {
                numberOfPages = 1;
            }
            const browser = await puppeteer.launch();
            const page = await browser.newPage();
            await page.setRequestInterception(true);
            page.on('request', (request) => {
                if (request.resourceType() === 'document') {
                    request.continue();
                } else {
                    request.abort();
                }
            });
            await page.goto('https://careers.google.com/jobs/results/');
            let currentPage = 1;
            let urls=[];
            while (currentPage <= numberOfPages) {
                await page.waitForSelector('a.gc-card');
                let newUrls = await page.evaluate(() => {
                    let results = [];
                    let items = document.querySelectorAll('a.gc-card');
                    items.forEach((item) => {
                        results.push({
                            jobTitle: item.innerText,
                            url: item.getAttribute('href')
                        });
                    });
                    return results;
                });
                urls = urls.concat(newUrls);
                if (currentPage < pagesToScrape) {
                    await Promise.all([
                        await page.waitForSelector('a.gc-link gc-link--on-grey gc-action-group__item gc-h-larger-tap-target'),
                        await page.click('a.gc-link gc-link--on-grey gc-action-group__item gc-h-larger-tap-target'),
                        await page.waitForSelector('a.gc-link gc-link--on-grey gc-action-group__item gc-h-larger-tap-target')
                    ])
                }
                currentPage++;
                await page.waitFor(500);
            }
            browser.close();
            return resolve(urls);
        } catch (e) {
            return reject(e);
        }
    })
}
run(1).then(console.log).catch(console.error);

Я вижу, используя inspect в инструментах разработчика, что класс gc-card присутствует в DOM, когда страница загружена, но по какой-то причине await page.waitForSelector('a.gc-card'); время ожидания каждый раз, когда я запускаю код. Не совсем уверен, что причина этого, но думаю, что это может быть связано с большей частью тела страницы, загружаемой через скрипт.

Желаемый результат - вернуть массив со всей работой. заголовки и URL на странице.

1 Ответ

1 голос
/ 01 мая 2020

Вы запрашиваете даже прерывание всех javascript файлов, необходимых для работы сайта. 

page.on('request', (request) => {
   if (request.resourceType() === 'document') {
      request.continue();
   } else {
      request.abort();
   }
});

Вместо того, чтобы позволить только документу думать негативно и останавливать запросы, которые вы уверены, что выиграли ' не нужно.

...