При получении nodejs-запроса содержимое тела отсутствует, но работает в браузере или в curl - PullRequest
Новая
       25

При получении nodejs-запроса содержимое тела отсутствует, но работает в браузере или в curl

1 голос
/ 03 апреля 2019

запрос на получение содержимого без содержимого с заголовком "content-length: 0".

ресурс: https://www.doe.gov.taipei/OpenData.aspx?SN=8A3B3293C269E096

Это ссылка rss, хорошо работает в браузере и curl. тест curl на linux, и wget тоже работает.

вот простой код: 

const req = require('request');
req.get({
  url: 'https://www.doe.gov.taipei/OpenData.aspx?SN=8A3B3293C269E096',
  rejectUnauthorized: false
}, (err, res, body) => {
  console.log(res)
});

проверить это онлайн симулятор получить тот же результат https://repl.it/repls/ScalyAquamarineObjectpool

Я думаю, это должно быть текстовое / XML-содержимое, а не пустое.

Ответ: 

{
statusCode: 200,
  body: '',
  headers:
   { 'cache-control': 'private,No-cache',
     'set-cookie':
      [ 'ASP.NET_SessionId=kzdhyxq2grttp5awwpqzxyen; path=/; secure; HttpOnly' ],
     'x-frame-options': 'SAMEORIGIN',
     'strict-transport-security': 'max-age=0',
     'x-xss-protection': '1; mode=block',
     'x-content-type-options': 'nosniff',
     'content-security-policy':
      'frame-ancestors \'self\' https://www-mgr.gov.taipei http://www-mgr.gov.taipei',
     date: 'Wed, 03 Apr 2019 06:44:47 GMT',
     connection: 'close',
     'content-length': '0' },
  request:
   { uri:
      Url {
        protocol: 'https:',
        slashes: true,
        auth: null,
        host: 'www.doe.gov.taipei',
        port: 443,
        hostname: 'www.doe.gov.taipei',
        hash: null,
        search: '?SN=8A3B3293C269E096',
        query: 'SN=8A3B3293C269E096',
        pathname: '/OpenData.aspx',
        path: '/OpenData.aspx?SN=8A3B3293C269E096',
        href:
         'https://www.doe.gov.taipei/OpenData.aspx?SN=8A3B3293C269E096' },
     method: 'GET',
     headers: {} }
}

Ответы [ 2 ]

1 голос
/ 03 апреля 2019

Подпись вашей функции обратного вызова неверна. В Node.JS обычно первым параметром для обратного вызова является (необязательный) объект ошибки.

Попробуйте это: 

const req = require('request');
req.get({
  url: 'https://www.doe.gov.taipei/OpenData.aspx?SN=8A3B3293C269E096',
  rejectUnauthorized: false
}, (err, res, body) => {
  console.log(res)
});
0 голосов
/ 03 апреля 2019

К вашему обновленному вопросу: похоже, что добавление пользовательского агента помогает: 

const req = require('request');
req.get({
  url: 'https://www.doe.gov.taipei/OpenData.aspx?SN=8A3B3293C269E096',
  rejectUnauthorized: false,
  headers: {
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3750.0 Iron Safari/537.36'
  }
}, (err, res, body) => {
  console.log(body)
});
...