Лучший способ перехода на новую страницу с запросом-обещанием? - PullRequest
Новая
       6

Лучший способ перехода на новую страницу с запросом-обещанием?

0 голосов
/ 31 октября 2018

Я возился с просьбой-обещанием сканировать страницу друзей. Я использую лучше сканировать веб-страницу на их GitHub. То, что я пока имею, это: 

var rp = require('request-promise');
var cheerio = require('cheerio'); // Basically jQuery for node.js

var options = {
  uri: 'https://friendspage.org',
  transform: function(body) {
    return cheerio.load(body);
  }
};

rp(options)
  .then(function($) {
    // Process html like you would with jQuery...
    var nxtPage = $("a[data-url$='nxtPageId']").attr('data');

    // How do I use nxtPage here to go to that site

  })
  .catch(function(err) {
    // Crawling failed or Cheerio choked...
  });

Как правильно перейти по ссылке, которую я имею в nxtPage? Я все еще хочу иметь возможность использовать cheerio / jQuery на нем. Нужно ли повторять всю вещь var option = ... внутри текущей функции then?

Ответы [ 2 ]

0 голосов
/ 31 октября 2018

Вы можете просто создать свою собственную служебную функцию, которая создает ваши опции и затем вызывает rp(), например: 

const rp = require('request-promise');
const cheerio = require('cheerio'); // Basically jQuery for node.js

// shared function
function getPage(url) {
    const options = {
        uri: url,
        transform: function(body) {
          return cheerio.load(body);
        }
    };
    return rp(options);
}

getPage('https://friendspage.org').then($ => {
    // Process html like you would with jQuery...
    const nxtPage = $("a[data-url$='nxtPageId']").attr('data');
    return getPage(nxtPage).then($ => {
        // more processing here
    });
}).catch(err => {
    console.log(err);
    // error handling here
});

Это просто код факторинга, который вы хотите использовать в нескольких местах в общей функции. Ничего особенного не имеет отношения к rp() или cheerio, только обычный код-факторинг в Javascript (или любом другом языке).

0 голосов
/ 31 октября 2018

Оберните внутри функции и продолжайте вызывать ее с условием, чтобы рекурсия в какой-то момент прерывалась. 

(function repeatUntilAConditionIsMetInThen(uri = 'https://friendspage.org')
  var options = {
    uri,
    transform: function(body) {
      return cheerio.load(body);
    }
  };
  rp(options)
    .then(function($) {
      var nxtPage = $("a[data-url$='nxtPageId']").attr('data');
      //There should be some condition here otherwise it will be infinite loop
      repeatUntilAConditionIsMetInThen(nxtPage);
    })
   .catch(function(err) {
   });
})();
...