Получение StatusCodeError 403 при отправке запроса с использованием запроса-ответа и Cheerio - PullRequest
0 голосов
/ 30 января 2020

Я пытаюсь очистить страницу для своего личного проекта, в качестве первого шага я хочу вывести необработанный html ответ тела, но продолжаю получать StatusCodeError: 403 ответ со странным HTML текстом.
Все, что я могу найти, это добавить User-Agent заголовок, который не исправил мою ошибку. Кто-нибудь знает, что мне не хватает?

const RequestPromise = require('request-promise');
const Cheerio = require('cheerio');

const handleScrap = async (RequestPromise, Cheerio) => {
  const uri = `https://www.norwegian.com/en`;

  const options = {
    headers: {
      "User-Agent": "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36",
    },
    uri,
    transform(bodys) {
      return Cheerio.load(bodys);
    },
  };

  return RequestPromise(options)
    .then(($) => {
      const test1 = [];
      $('.lowfare-calendar__cell').each(function () {
        const test = {
          title: $(this)
            .find('.lowfare-calendar__date')
            .text()
            .trim()
        }
        test1.push(test);
      });
      console.log(test1);
    })
    .catch(e => console.log(e));
};

handleScrap(RequestPromise, Cheerio);

Сообщение об ошибке:

{StatusCodeError: 403 - "\ n \ n \ n \ n \ n \ n Вы человек? | Норвежский \ n \ n \ n \ n \ n \ n \ n \ n \ n
/ *! Normalize. css v8.0.1 | Лицензия MIT | github.com/necolas/normalize. css * / html {-webkit-text-size-Adjust: 100%; высота строки: 1,15} body {margin: 0} main {display: block} h1 {font-size: 2em; margin: .67em 0 } {ч коробчатого проклейки: содержание ящика; высота: 0; переполнения: видимый} {предварительно семейство шрифтов: моноширинный, моноширинный; размер шрифта: 1em} а {цвет фона: прозрачный} сокр [название] {внешних пунктов пропуска внизу: нет; оформление текста: подчеркивание; оформление текста: подчеркнутая точка} b, сильный код {font-weight: bolder}, kbd, samp {font-family: monospace, monospace; размер шрифта: 1em} small {font -размер: 80%} к югу, вир {размер шрифта: 75%; высота линии: 0; положение: относительная; вертикального выравнивания:.. базовый} {суб снизу: - 25em} {SUP сверху: - 5em} IMG Кнопка {border-style: none}, вход, optgroup, select, textarea {font-family: наследовать; размер шрифта: 100%; высота строки: 1,15; поле: 0}

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...