Я хочу сканировать страницы входа на сайт. Я захожу на сайт с помощью Chrome, затем извлекаю файлы cookie для сайта с помощью плагина Chrome Cookie Inspector.
https://chrome.google.com/webstore/detail/cookie-inspector/jgbbilmfbammlbbhmmgaagdkbkepnijn?hl=en
тогда я использую модуль node-crawler для сканирования веб-сайта.
https://www.npmjs.com/package/crawler
но я не могу правильно установить куки.
это мой код:
var Crawler = require("crawler");
var fs = require('fs')
var c = new Crawler({
maxConnections : 10,
jQuery: false,
headers:{Cookie: [
{
"domain": "www.example.com",
"hostOnly": true,
"httpOnly": true,
"name": "BIGipServerfk.example.com-80",
"path": "/",
"sameSite": "no_restriction",
"secure": false,
"session": true,
"storeId": "0",
"value": "3358858762.20480.0000",
"id": 1
},
{
"domain": "www.example.com",
"hostOnly": true,
"httpOnly": true,
"name": "JSESSIONID",
"path": "/",
"sameSite": "no_restriction",
"secure": false,
"session": true,
"storeId": "0",
"value": "49A78003F8C87804475AE5F151FC4BEE.0605",
"id": 2
}]},
// This will be called for each crawled page
callback : function (error, res, done) {
if(error){
console.log(error);
}else{
fs.writeFile('./example.html', res.body, ()=>{})
}
done();
}
});
// Queue just one URL, with default callback
c.queue('https://www.example.com/');
и это единственное, что я основал, дорогая:
https://github.com/bda-research/node-crawler/issues/165
https://github.com/bda-research/node-crawler/issues/187
Как я могу установить куки? очевидно, этот модуль использует модуль запроса в качестве зависимости. Как я могу использовать tough-cookie?