Ошибка пакета Crawler NPM при использовании прокси - PullRequest
Новая
       13

Ошибка пакета Crawler NPM при использовании прокси

0 голосов
/ 31 октября 2019

Я хочу получить данные с определенных сайтов, используя пакет Crawler NPM. Поскольку большинство веб-сайтов блокирует вам получение данных, я хочу добавить случайный прокси-сервер (с бесплатного прокси-сайта), чтобы предотвратить блокировку (возможно). Но я получаю ошибку, которую не понимаю. Без записи прокси работает нормально. 

var Crawler = require("crawler");

var c = new Crawler({
rateLimit: 2000,
maxConnections: 1,
callback: function (error, res, done) {
    if (error) {
        console.log(error)
    } else {
        var $ = res.$;
        console.log($('title').text())
    }
    done();
}
})
let proxy = '190.52.193.97'

c.queue({
uri: 'http://www.google.com',
proxy: '190.52.193.97'
})
...