Как установить несколько файлов cookie для сканера узлов - PullRequest
0 голосов
/ 06 июля 2019

Я хочу сканировать страницы входа на сайт. Я захожу на сайт с помощью Chrome, затем извлекаю файлы cookie для сайта с помощью плагина Chrome Cookie Inspector. https://chrome.google.com/webstore/detail/cookie-inspector/jgbbilmfbammlbbhmmgaagdkbkepnijn?hl=en

тогда я использую модуль node-crawler для сканирования веб-сайта.

https://www.npmjs.com/package/crawler

но я не могу правильно установить куки. это мой код:

var Crawler = require("crawler");
 var fs = require('fs')
var c = new Crawler({
    maxConnections : 10,
    jQuery: false,
    headers:{Cookie: [
        {
          "domain": "www.example.com",
          "hostOnly": true,
          "httpOnly": true,
          "name": "BIGipServerfk.example.com-80",
          "path": "/",
          "sameSite": "no_restriction",
          "secure": false,
          "session": true,
          "storeId": "0",
          "value": "3358858762.20480.0000",
          "id": 1
        },
        {
          "domain": "www.example.com",
          "hostOnly": true,
          "httpOnly": true,
          "name": "JSESSIONID",
          "path": "/",
          "sameSite": "no_restriction",
          "secure": false,
          "session": true,
          "storeId": "0",
          "value": "49A78003F8C87804475AE5F151FC4BEE.0605",
          "id": 2
        }]},

    // This will be called for each crawled page
    callback : function (error, res, done) {

        if(error){
            console.log(error);
        }else{

            fs.writeFile('./example.html', res.body, ()=>{})
        }
        done();
    }
});

// Queue just one URL, with default callback
c.queue('https://www.example.com/');

и это единственное, что я основал, дорогая:

https://github.com/bda-research/node-crawler/issues/165

https://github.com/bda-research/node-crawler/issues/187

Как я могу установить куки? очевидно, этот модуль использует модуль запроса в качестве зависимости. Как я могу использовать tough-cookie?

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...