Я использую веб-парсер в своем веб-приложении React (MERN STACK). Я использую request-prom (rp) и библиотеку cheerio для получения url / html.
У меня есть этот метод для запуска в componentWillMount () каждый раз, когда пользователь переходит на X-страницу. Массив, который он извлекает, имеет длину около 80-150 элементов с 4-5 объектами. Но запускать его каждый раз, когда пользователь заходит на эту X-страницу, не очень эффективно. Так есть ли лучший способ сделать это? Иногда требуется время, прежде чем массив "загрузится" / от 5 до 30-40 секунд максимум.
Один из вариантов, который я задался вопросом, был ли возможен, - это метод выборки, запускаемый каждые 15 минут (для всего server) или около того и разместил его в моей MongoDB, а затем получил, когда пользователь вместо этого вводит эту X-страницу. Возможно ли это каким-либо образом? Как метод extern, когда на странице нет никого?