Как я могу использовать прокси-сервер http с node.js http.Client?

Question

Я хочу сделать исходящий HTTP-вызов из node.js, используя стандарт http.Client.Но я не могу подключиться к удаленному серверу напрямую из моей сети, и мне нужно пройти через прокси.

Как мне указать node.js использовать прокси?

Answer 1

Тим Макфарлейн ответ был близок к использованию HTTP-прокси.

Использование HTTP-прокси (для незащищенных запросов) очень просто. Вы подключаетесь к прокси-серверу и делаете запрос в обычном режиме, за исключением того, что часть пути включает полный URL-адрес, а в заголовке хоста указан хост, к которому вы хотите подключиться.
Тим был очень близок со своим ответом, но он пропустил правильную настройку заголовка узла.

var http = require("http");

var options = {
  host: "proxy",
  port: 8080,
  path: "http://www.google.com",
  headers: {
    Host: "www.google.com"
  }
};
http.get(options, function(res) {
  console.log(res);
  res.pipe(process.stdout);
});

Кстати, его ответ работает с http://nodejs.org/, но это потому, что их серверу не важно, какой заголовок хоста неверен.

Answer 2

Вы можете использовать request , я только что обнаружил, что невероятно легко использовать прокси на node.js, только с одним внешним параметром "proxy", даже более того, он поддерживает HTTPS через http прокси.

var request = require('request');

request({
  'url':'https://anysite.you.want/sub/sub',
  'method': "GET",
  'proxy':'http://yourproxy:8087'
},function (error, response, body) {
  if (!error && response.statusCode == 200) {
    console.log(body);
  }
})

Answer 3

Одна вещь, на которую мне потребовалось некоторое время, чтобы выяснить, используйте http для доступа к прокси, даже если вы пытаетесь прокси подключиться к серверу https.Это работает для меня, используя Чарльз (анализатор протокола OSX):

var http = require('http');

http.get ({
    host: '127.0.0.1',
    port: 8888,
    path: 'https://www.google.com/accounts/OAuthGetRequestToken'
}, function (response) {
    console.log (response);
});

Answer 4

Как уже упоминалось @Renat, проксированный HTTP-трафик приходит в виде довольно обычных HTTP-запросов.Сделайте запрос к прокси, передав в качестве пути полный URL адресата.

var http = require ('http');

http.get ({
    host: 'my.proxy.com',
    port: 8080,
    path: 'http://nodejs.org/'
}, function (response) {
    console.log (response);
});

Answer 5

Думаю, я бы добавил этот модуль, который нашел: https://www.npmjs.org/package/global-tunnel,, который отлично работал для меня (работал сразу со всем моим кодом и сторонними модулями только с кодом ниже).

require('global-tunnel').initialize({
  host: '10.0.0.10',
  port: 8080
});

Сделайте это один раз, и все http (и https) в вашем приложении будут проходить через прокси.

Альтернативно, вызов

require('global-tunnel').initialize();

Будет использовать переменную окружения http_proxy

Answer 6

http-пакет 'request', кажется, имеет эту функцию:

https://github.com/mikeal/request

Например, объект запроса 'r' ниже использует localproxy для доступа к своим запросам:

var r = request.defaults({'proxy':'http://localproxy.com'})

http.createServer(function (req, resp) {
  if (req.url === '/doodle.png') {
    r.get('http://google.com/doodle.png').pipe(resp)
  }
})

К сожалению, нет никаких "глобальных" настроек по умолчанию, так что пользователи библиотек, которые используют это, не могут изменить прокси, если библиотека не проходит через параметры http ...

HTH, Крис

Answer 7

Обычно вам не нужна явная поддержка прокси.Прокси-протокол довольно прост и основан на обычном протоколе HTTP.Вам просто нужно использовать прокси-хост и порт при соединении с HTTPClient.Пример (из документа node.js):

var http = require('http');
var google = http.createClient(3128, 'your.proxy.host');
var request = google.request('GET', '/',
  {'host': 'www.google.com'});
request.end();
...

Таким образом, в основном вы подключаетесь к прокси-серверу, но делаете запрос к "http://www.google.com".

Answer 8

Если вам нужно использовать базовую авторизацию для вашего прокси-провайдера, просто используйте следующее:

var http = require("http");

var options = {
    host:       FarmerAdapter.PROXY_HOST,
    port:       FarmerAdapter.PROXY_PORT,
    path:       requestedUrl,
    headers:    {
        'Proxy-Authorization':  'Basic ' + new Buffer(FarmerAdapter.PROXY_USER + ':' + FarmerAdapter.PROXY_PASS).toString('base64')
    }
};

var request = http.request(options, function(response) {
    var chunks = [];
    response.on('data', function(chunk) {
        chunks.push(chunk);
    });
    response.on('end', function() {
        console.log('Response', Buffer.concat(chunks).toString());
    });
});

request.on('error', function(error) {
    console.log(error.message);
});

request.end();

Answer 9

Я купил частный прокси-сервер, после покупки я получил:

255.255.255.255 // IP address of proxy server
99999 // port of proxy server
username // authentication username of proxy server
password // authentication password of proxy server

И я хотел его использовать. Первый ответ и второй ответ работал только для http (прокси) -> http (назначение), однако я хотел http (proxy) -> https (назначение).

А для адресата https лучше использовать HTTP туннель напрямую.Я нашел решение здесь .Конечный код:

const http = require('http')
const https = require('https')
const username = 'username'
const password = 'password'
const auth = 'Basic ' + Buffer.from(username + ':' + password).toString('base64')

http.request({
  host: '255.255.255.255', // IP address of proxy server
  port: 99999, // port of proxy server
  method: 'CONNECT',
  path: 'kinopoisk.ru:443', // some destination, add 443 port for https!
  headers: {
    'Proxy-Authorization': auth
  },
}).on('connect', (res, socket) => {
  if (res.statusCode === 200) { // connected to proxy server
    https.get({
      host: 'www.kinopoisk.ru',
      socket: socket, // using a tunnel
      agent: false    // cannot use a default agent
    }, (res) => {
      let chunks = []
      res.on('data', chunk => chunks.push(chunk))
      res.on('end', () => {
        console.log('DONE', Buffer.concat(chunks).toString('utf8'))
      })
    })
  }
}).on('error', (err) => {
  console.error('error', err)
}).end()

Answer 10

Узел должен поддерживать использование переменной среды http_proxy - поэтому он кроссплатформенный и работает с настройками системы, а не требует настройки для каждого приложения.

Используя предоставленные решения, я бы рекомендовал следующее:

Coffeescript

get_url = (url, response) ->
  if process.env.http_proxy?
    match = process.env.http_proxy.match /^(http:\/\/)?([^:\/]+)(:([0-9]+))?/i
    if match
      http.get { host: match[2], port: (if match[4]? then match[4] else 80), path: url }, response
      return
  http.get url, response

Javascript

get_url = function(url, response) {
  var match;
  if (process.env.http_proxy != null) {
    match = process.env.http_proxy.match(/^(http:\/\/)?([^:\/]+)(:([0-9]+))?/i);
    if (match) {
      http.get({
        host: match[2],
        port: (match[4] != null ? match[4] : 80),
        path: url
      }, response);
      return;
    }
  }
  return http.get(url, response);
};

Использование Чтобы эффективно использовать метод, простозамените http.get, например, следующее записывает страницу индекса google в файл с именем test.htm:

file = fs.createWriteStream path.resolve(__dirname, "test.htm")
get_url "http://www.google.com.au/", (response) ->
  response.pipe file
  response.on "end", ->
    console.log "complete"