Кукловод очищает страницы и превращает их в CSV-файл - PullRequest
Новая
       61

Кукловод очищает страницы и превращает их в CSV-файл

0 голосов
/ 21 марта 2020

Мне нужна помощь с этим кодом, я пытаюсь почистить веб-сайт и затем превратить его в CSV-файл, что мне не хватает? Идея состоит в том, чтобы сделать функцию l oop на всех страницах и поместить их в массив [bolag]. Затем я хочу сделать это в 2 строки в CSV-файле 

   const puppeteer = require('puppeteer');
    const fs =require('fs');

    (async function scrape () {
        const browser = await puppeteer.launch({headless:false});
        const page = await browser.newPage();
        const url = 'https://www.proff.se/segmentering?rf=-15600&rt=186296000&samplerFilter=true';
        await page.goto(url);


        for( let i=0; i<100; i++){

        const titles = await page.evaluate(
            () => Array.from(document.querySelectorAll("div.segmentation h3 a")).map((partner) =>
                partner.innerText)
                );

        const OrgNumber = await page.evaluate(
            () => Array.from(document.querySelectorAll("div.segmentation .org-number")).map((partner) =>
                partner.innerText)
                );





        let Bolag = [titles, OrgNumber];
            console.log(Bolag);


            await page.click('a.ssproff-right');

        }
        fs.writeFile("test.csv",JSON.stringify(bolag), function(err){
            if(err){
                console.log(err);
            }else{
                console.log("data has been added");
            }
        })

    })();
...