Я написал программу, которая загружает веб-страницы и сохраняет их на моем ПК для последующего чтения в автономном режиме.Например, я могу дать моей программе URL-адрес, такой как «www.articles.com/TheTrumpPhenomenon.htm», и она загрузит страницу под названием «TheTrumpPhenomenon.htm» на мой локальный ПК, чтобы я мог взять свой компьютер подпальма на карибском острове и читать его в автономном режиме.
Мой вопрос касается форумов.Предположим, я нахожу страницу форума (например: https://discourse.numenta.org/c/htm-theory/tangential-theories)
. Я решаю скачать ее с помощью вызова VB.net на «webrequest», но, к моему ужасу, я скачиваю толькочасть страницы форума.
Если я просматриваю ее в браузере, то, прокручивая вниз, код JQuery или AJAX (я не уверен, я не посмотрел на источник), продолжает кормить больше постов. Страница в конце концов заканчивается, но вы можете прокручивать страницу вниз долгое время, и каждый раз, когда больше контента попадает в браузер. Таким образом, пользователь пациента может просматривать весь контент, связанный с этой веткой форума, независимо от того, как долго онон просто должен нажимать кнопку PGDN. Я хотел бы сделать то же самое с моей программой, или, скорее, просто захватить ВСЕ содержимое на очень длинной веб-странице, сохраненной на моем ПК.
Есть ли способ загрузить бесконечные страницы (страницы, например форумы, вероятно, получают свое содержимое из базы данных, и поэтому обычно форумы не отправляют весь свой контент пользователю, если он действительно не хочет видеть всет)