На самом деле я работаю над проектом WebScraping с Python. Цель состоит в том, чтобы очистить все обзоры приложения для Android. Я использую Selenium и BeautifulSoup.
На самом деле я могу получить примерно 2300 отзывов. Во всем мире я открываю веб-страницу приложения с помощью Selenium, затем автоматизирую процесс прокрутки вниз по странице и нажимаю кнопку «показать больше», чтобы создать больше отзывов.
Затем япередает объект "browser.page_source" методу BeautifulSoup, чтобы я мог его проанализировать и получить соответствующие данные. Проблема в том, что с определенного момента (после 15-кратного нажатия кнопки «Показать больше, которые соответствуют 2320 отзывам») программа всегда останавливается. Я не получаю сообщение об ошибке, но когда я вызываю объект «browser.page_source», программа останавливается.
Не слишком ли большая страница для обработки Selenium?