Как мне найти и вызвать скрипт, который загружает скрытый html, используя узел https - PullRequest
0 голосов
/ 04 мая 2020

Я хотел бы создать агрегатор новостей, используя node.js, однако я не хочу использовать библиотеки, такие как кукловод, но вместо этого собирать его с нуля, поскольку он также должен работать быстрее. В настоящее время я вызываю запрос на получение с использованием https, и проблема, с которой я столкнулся, заключается в том, что вся страница не загружается сразу, что означает, что пользователь должен вручную прокрутить вниз, чтобы загрузить больше контента. Я уверен, что есть сценарий, который активируется, когда пользователь прокручивает страницу достаточно далеко, и мне было интересно, как я могу найти ее и вызвать. Это сайт, который я пытаюсь очистить и код до сих пор: https://uk.news.yahoo.com/

const https = require('https');

https.get('https://uk.news.yahoo.com/', (res) => {
    res.on('data', (d) => {
        process.stdout.write(d);
    });

}).on('error', (e) => {
    console.error(e);
});
...