Я пытаюсь удалить изображения со страницы Википедии с помощью puppeteer и node js, и я успешно получаю ссылки. Также я могу скачать 1 изображение со страницы. Но всякий раз, когда я пытаюсь вызвать мою функцию загрузки в al oop, она загружает недопустимые изображения. Функция загрузки работает, когда я пытаюсь удалить одно изображение, но эта функция не работает в l oop. если у кого-нибудь есть предложение, дайте мне знать. Заранее спасибо
Вот мой код
const puppeteer = require('puppeteer');
const fs = require('fs');
const request = require('request');
// download function
function download(uri, filename, callback) {
request.head(uri, function(err, res, body) {
request(uri)
.pipe(fs.createWriteStream(filename))
.on("close", callback);
});
}
let scrap = async ()=> {
const browser = await puppeteer.launch({
"headless": false
});
const page =await browser.newPage(); //opening new page
await page.goto("https://www.wikipedia.org/"); // go to url
const xpathselector = `//span[contains(text(), "Commons")]`; //click on the commons buttons
const commonlinks = await page.waitForXPath(xpathselector);
await page.waitFor(3000);
await commonlinks.click();
await page.waitFor(2000)
const xpath = '//*[@id="mainpage-potd"]/div[1]/a/img';
const imageXpath = await page.waitForXPath(xpath);
const src = await imageXpath.evaluate(el => el.src)
//downloading the 1st image from the page
download(src, "image.jpg", function() {
console.log("Image downloaded");
});
await page.waitFor(2000)
//here we are going to another page
const xpathselector1 ='//*[@id="mf-picture-picture"]/div[2]/ul/li[4]/a'
const previousPictture = await page.waitForXPath(xpathselector1);
await page.waitFor(2000);
previousPictture.click();
await page.waitFor(1500);
//getting urls of images
const link_start = 0;
const cue_card_links = await page.evaluate((selector) => {
const anchors_node_list = document.querySelectorAll(selector);
const anchors = [...anchors_node_list];
return anchors.map(link => link.href);
}, '#mw-content-text > div > table > tbody > tr > td > div > div > a');
console.log("[#] Done getting links\n");
for (let i = link_start; i < cue_card_links.length; i++) {
let link = cue_card_links[i];
//downloading all images from second page
download(link, `image${i}.jpg`, function() {
console.log("Image downloaded");
});
}
}
scrap();