Как сделать так, чтобы на сайте Beautiful Soup отображалась больше информации? - PullRequest
0 голосов
/ 27 мая 2020

Я пытаюсь создать программу, которая показывает лучшие предложения на определенном веб-сайте, и веб-сайт загружает больше их товаров, только если вы прокрутите вниз. Когда я использую суп, он получает только первый набор блюд. Есть ли способ заставить сайт загружать больше элементов? Заранее спасибо!

1 Ответ

0 голосов
/ 27 мая 2020

Beautifulsoup анализирует только предоставленный HTML код. Он не знает ни одного окна браузера или прокрутки. Либо все данные есть, либо нет.

Если веб-сайт перезагружает данные позже (например, после прокрутки вниз), позади него остается JavaScript. Взгляните на selenium , который использует веб-драйвер (то есть фактический веб-браузер) для доступа к веб-сайту, который также запускает весь код JavaScript, как обычно.

...