Загрузка дополнительных данных на веб-сайт Python Selenium - PullRequest
1 голос
/ 06 мая 2020

У меня проблема не обязательно связана с моим кодом, поскольку он вроде работает, а с веб-сайтом, который я пытаюсь очистить. Это не дает мне больше данных. Я пытаюсь нажимать кнопку «Загрузить еще», пока не исчезнут данные. Есть 20000 результатов по 50 на загрузку. Значит, на кнопку нужно нажать 400 раз. После примерно 100 нажатий программа нажимает кнопку, но веб-сайт больше не загружает данные. У меня вопрос: ограничивают ли веб-сайты объем загружаемых данных? Отвечает ли мое оборудование за эту проблему, иначе может ли моя оперативная память не обрабатывать данные? Я новичок в соскабливании python, поэтому приветствую любую помощь.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...