Node.js прокси, работающий с gzip DEcompression - PullRequest
Новая
       45

Node.js прокси, работающий с gzip DEcompression

3 голосов
/ 04 января 2011

В настоящее время я работаю на прокси-сервере, где мы в этом случае должны изменить данные (используя regexp), которые мы проталкиваем.

В большинстве случаев он работает нормально, за исключением сайтов, которые используют gzip в качестве кодировки контента (я думаю), я наткнулся на модуль под названием compress и попытался протолкнуть порции, которые я получаю через распаковать / распаковать поток, но на самом деле это не так, как я ожидал (см. код ниже)

решил, что я выложу некоторый код для поддержки моего теста, это прокси, который загружается с помощью mvc (express): 

module.exports = {
index: function(request, response){
    var iframe_url = "www.nu.nl"; // site with gzip encoding    

    var http = require('http');     
    var httpClient = http.createClient(80, iframe_url);
    var headers = request.headers;
    headers.host = iframe_url;

    var remoteRequest = httpClient.request(request.method, request.url, headers);

    request.on('data', function(chunk) {
        remoteRequest.write(chunk);
    });

    request.on('end', function() {
        remoteRequest.end();
    });

    remoteRequest.on('response', function (remoteResponse){         
        var body_regexp = new RegExp("<head>"); // regex to find first head tag
        var href_regexp = new RegExp('\<a href="(.*)"', 'g'); // regex to find hrefs

        response.writeHead(remoteResponse.statusCode, remoteResponse.headers);

        remoteResponse.on('data', function (chunk) {
    var body = doDecompress(new compress.GunzipStream(), chunk);
            body = body.replace(body_regexp, "<head><base href=\"http://"+ iframe_url +"/\">");
            body = body.replace(href_regexp, '<a href="#" onclick="javascript:return false;"');             

            response.write(body, 'binary');
        });

        remoteResponse.on('end', function() {

            response.end();
            });
        });
    }
};

в части тела var я хочу прочитать тело и, например, в этом случае удалить все hrefs, заменив их символом #. Проблема здесь, конечно, заключается в том, что когда у нас есть сайт, который закодирован / сжат gzip, он все лишний, и мы не можем применить регулярные выражения.

теперь я уже устал возиться с модулем сжатия узла: 

 doDecompress(new compress.GunzipStream(), chunk);

что относится к 

function doDecompress(decompressor, input) {
  var d1 = input.substr(0, 25);
  var d2 = input.substr(25);

  sys.puts('Making decompression requests...');
  var output = '';
  decompressor.setInputEncoding('binary');
  decompressor.setEncoding('utf8');
  decompressor.addListener('data', function(data) {
    output += data;
  }).addListener('error', function(err) {
    throw err;
  }).addListener('end', function() {
    sys.puts('Decompressed length: ' + output.length);
    sys.puts('Raw data: ' + output);
  });
  decompressor.write(d1);
  decompressor.write(d2);
  decompressor.close();
  sys.puts('Requests done.');
}

Но на нем ничего не получается, поскольку входные данные чанка - это объект, поэтому я попытался указать его как chunk.toString (), который также не работает с недопустимыми входными данными.

Мне было интересно, направляюсь ли я в правильном направлении?

1 Ответ

3 голосов
/ 04 января 2011

Декомпрессор ожидает двоичного кодированного ввода.Блок, который получает ваш ответ, является экземпляром Buffer , который по умолчанию делает метод toString(), возвращая вам строку в кодировке UTF-8.

Так что вам нужно использовать chunk.toString('binary') длязаставить это работать, это также можно увидеть в демоверсии 1008 *.

...