Сканер, как получить данные со страницы, которая загружается при прокрутке вниз? - PullRequest
Новая
       29

Сканер, как получить данные со страницы, которая загружается при прокрутке вниз?

0 голосов
/ 11 февраля 2019

Я использую сканер npm в своем приложении, чтобы получить все изображения с веб-сайта с определенным тегом, но веб-сайт загружает только 40 изображений в начале, а при прокрутке вниз он загружает еще 40 и снова еще 40, в общей сложности это около260, и я хотел бы получить их все.

Мой код выглядит следующим образом: 

const c = new Crawler({
    callback: async function(error, res, done) {
        if (error) {
            console.log({error})
        } else {
            const tag = '.person div img';
            const images = res.$(tag);

            images.each(index => {

                var name = images[index].attribs.alt.toString()
                                        .replace(/"/g, '') //remove quotes(")
                                        .replace(/\s+/g, '-'); //change spaces for (-)
                let localFilePath = './' + name + '.jpg'
                saveImageToDisk(images[index].attribs.src, localFilePath)

Это дает мне все те, которые загружаются со страницей в мою файловую систему (40), ноКак я могу получить остальные, которые загружаются, когда я прокручиваю вниз ???

Спасибо

...