Создание http-прокси, который может изменить http-ответ перед отправкой его клиенту

Question

Я использую wget, чтобы получить что-то из Интернета, но я не хочу следить за частью страницы.Я думал, что смогу настроить прокси-сервер, который удалял бы части веб-страницы, которые я не хотел обрабатывать, прежде чем вернуть его в wget, но я не уверен, как мне это сделать.

Есть липрокси, который позволяет мне легко модифицировать http-ответ в python или node.js?

Answer 1

Есть несколько способов достижения этой цели. Это должно помочь вам начать (используя node.js). В следующем примере я извлекаю google.com и заменяю все экземпляры google на foobar.

// package.json file...
{
  "name": "proxy-example",
  "description": "a simple example of modifying response using a proxy",
  "version": "0.0.1",
  "dependencies": {
    "request": "1.9.5"
  }
}

// server.js file...
var http = require("http")
var request = require("request")
var port = process.env.PORT || 8001

http.createServer(function(req, rsp){
  var options = { uri: "http://google.com" }

  request(options, function(err, response, body){
    rsp.writeHead(200)
    rsp.end(body.replace(/google/g, "foobar"))
  })

}).listen(port)

console.log("listening on port " + port)

Answer 2

В nodejs я бы форк node-http-proxy и настроить код для моих нужд.

Намного проще, чем писать http-прокси с нуля, ИМХО.