Как я могу очистить экран многостраничного приложения с помощью JavaScript?

Question

Как я могу очистить экран многостраничного приложения?Я хочу сделать это с помощью Javascript.Вот подходы, которые я рассмотрел, и проблемы, с которыми я столкнулся.

Использование веб-API Fetch в приложении Node для получения веб-страниц

Проблема: Интернетстраницы не загружаются должным образом при получении.Я полагаю, что весь javascript на странице не запускается при получении страницы.

Запуск JavaScript из консоли

Это очень простой способ вставить JavaScript прямо вдокумент.Но одна проблема заключается в том, что открытие веб-страницы - это браузер, а вставка в консоль - ручная работа.Другая проблема заключается в том, что, хотя это работает для одностраничных приложений, оно становится очень громоздким для многостраничных приложений.

Какой существует лучший подход, который решает проблемы, с которыми я столкнулся?

Answer 1

Если вы хотите сохранить содержимое веб-сайта (html, js, css файлы, изображения) в файловую систему, вы можете посмотреть пакет website-scraper для nodejs https://www.npmjs.com/package/website-scraper

Также имеется плагин для PhantomJSчто позволяет обрабатывать одностраничные приложения

Answer 2

Зависит от того, что вы делаете.Если вы просто хотите получить что-то подобное с какого-то веб-сайта, тогда добавьте JS на страницу.

Но, как вы сказали, это ручная работа, из которой, как я понимаю, вы хотите очистить сайты и сохранить данные, возможно.В этом случае сценарий на стороне службы лучше подходит.Чтобы решить проблему с не загружаемым JavaScript, вы можете использовать такие вещи, как PhantomJs или Horseman.

Взгляните на это: https://medium.com/@designman/building-a-performant-web-scraper-in-node-js-5f4449674163