Как очистить страницу и затем нажать кнопку, чтобы перейти на следующую страницу для очистки с помощью Selenium и BeautifulSoup

Question

Я очищаю веб-страницу, на которой есть таблица с дочерними тегами tr и td. Я могу правильно почистить первую страницу. Но чтобы перейти на следующую страницу, мне нужно нажать кнопку. Мне нужна помощь в понимании этого. Я использую Selenium и Beautiful soup для получения ответа на странице.

HTML-код для тега кнопки выглядит следующим образом:

<input type="submit" name="RadGrid1$ctl00$ctl03$ctl01$ctl28" value=" " onclick="return false;" title="Next Page" class="rgPageNext">

Пример кода, который я пробовал:

for i in range(0,14):

  # code for scraping 1 page

   some code here

   btn = driver.find_element_by_xpath(xpath)

   btn.click()

Нажатие кнопки переходит на следующую страницу, но не может очистить информацию для любой из 2-14 страниц. Я попытался поместить свой очищающий 1-страничный код в цикл for и добавил логику нажатия кнопки в конце. Он очищает первую страницу, выполняет нажатие кнопки, но не переходит на следующую страницу. Вместо этого он возвращается к странице 1.

Answer 1

Что касается того, что я могу понять, я думаю, что вы не обновили новый URL-адрес Beautifulsoup. После щелчка вы берете текущий URL новой страницы и затем выполняете очистку. Только тогда он будет очищать новую страницу, в противном случае он содержит URL старой страницы и, таким образом, очищает только эту страницу.