Как очистить все hrefs, используя cheerio или кукловод? - PullRequest
Новая
       36

Как очистить все hrefs, используя cheerio или кукловод?

1 голос
/ 14 февраля 2020

У меня есть сценарий, в котором мне нужно получить все ссылки на социальные сети с веб-сайта. Если я считаю, что все ссылки в социальных сетях находятся на домашней странице, то каждая из них выбирает каждую ссылку в социальных сетях. ниже приведены примеры кода:

Использование cheerio js

const cheerio = require('cheerio')
const axios = require('axios')
const https = require('https');

const agent = new https.Agent({
    rejectUnauthorized: false
});
// process.env.NODE_TLS_REJECT_UNAUTHORIZED = '0';

const getLinks = async (url) => {

    try {
        let body = await axios.get(url, { httpsAgent: agent })
        let hrefs = []
        let $ = cheerio.load(body.data)
        let links = $('a')

        links.each((i, link) => {
            hrefs.push($(link).attr('href'))
        })
        return hrefs
    } catch (error) {
        return error
    }

}

const getSocialLinks = async (socialLinks, url) => {
    try {
        let hrefs = await getLinks(url)

        let handles = []
        hrefs.filter(href => {
            if (href) {
                for (const link of socialLinks) {
                    if (href.includes(link)) {
                        handles.push({ platform: link, handle: href })
                        break
                    }
                }
            }
        })

        console.log(handles);
    } catch (error) {
        console.log(error)
    }
}

getSocialLinks(['facebook', 'twitter', 'instagram', 'youtube', 'linkedin'], 'https://synavos.com')

Это прекрасно работает, если все ссылки в социальных сетях находятся на главной странице, но Я не могу понять, что если ссылки на социальные сети находятся на какой-то другой странице данного веб-сайта.

Ниже приведен тот же пример кода с использованием puppeteer : 

const puppeteer = require('puppeteer')

const getHrefsAttributes = async (website) => {
    try {
        const browser = await puppeteer.launch({
            headless: true,
            ignoreHTTPSErrors: true
        });
        const [page] = await browser.pages();

        await page.goto(website, { waitUntil: 'networkidle2', timeout: 3000000 });

        const hrefs = await page.evaluate(() => Array.from(document.querySelectorAll('a[href]'), a => a.getAttribute('href')));

        await browser.close();
        return hrefs
    } catch (err) {
        console.error(err);
    }
}

const getSocialLinks = async (url, socialLinks) => {
    let hrefs = await getHrefsAttributes(url)
    // add array for social links which you want to fetch
    let handles = []
    hrefs.filter(href => {
        for (const link of socialLinks) {
            if (href.includes(link)) {
                handles.push({ platform: link, handle: href })
                break
            }
        }
    })

    console.log(handles);
}

getSocialLinks('https://synavos.com/', ['facebook', 'twitter', 'instagram', 'youtube', 'linkedin'])

Например, этот URL https://netsoltech.com/ не имеет ссылок на социальные сети на домашней странице.

...