Как имитировать браузер для поиска и подсчета текста

Question

Я пытаюсь подсчитать слова, видимость которых видна в браузере.Я использую Scrapy, чтобы получить ссылку и разобрать тему с помощью Selector.

Проблема в том, что я могу только посчитать все тексты, несмотря на их видимость (скрытые, в меню, в цитате ...) и поиск сайтовсписок URL (не той же структуры)

У вас есть какие-либо предложения?

Answer 1

Scrapy просто дает вам исходный код страницы (ctrl + u), чтобы получить отрендеренную страницу, которую вы должны использовать Selenium, или всплеск, мой всплеск - это немного по сравнению с Selenium, но Selenium дает вам полный контроль