Можно ли выполнить завершение в simplecrawler (npm) вручную?

Question

Я использую Simplecrawler . Я хотел бы захватить только 50 URL. К сожалению, crawler.maxDepth не решает проблему определения точного количества / количества страниц. Любой возможный способ достичь этого? Можем ли мы запустить событие полностью вручную?

Answer 1

Ну, я получил ответ сам.

Мы можем добавить следующее в качестве условия выхода.

 var maxNumPages = 50;
  crawler.addFetchCondition(function(queueItem) {
    return crawler.queue.length < maxNumPages;
  });

maxNumPages примет количество страниц, которые нужно получить.