Для загрузки веб-сайта с помощью модуля узла-скребка-кукловода вам потребуется:
- установить nodejs (версия> = 8)
- установить модули
website-scraper
(основной модуль ), website-scraper-puppeteer
(плагин для основного модуля) из npm
npm install website-scraper website-scraper-puppeteer
- создать файл для вашего nodejs приложения (например,
index.js
) с некоторым кодом
const scrape = require('website-scraper');
const PuppeteerPlugin = require('website-scraper-puppeteer');
const options = {
urls: ['https://example.com'],
directory: '/path/to/save',
plugins: [
new PuppeteerPlugin()
]
};
scrape(options).then((result) => { console.log(result); });
- запустить приложение из командной строки
node index.js