Как перейти на следующую страницу Python Selenium?

Question

Я пытаюсь создать прокси-скребок для определенного сайта, но мне не удается перейти на следующую страницу.

Это код, который я использую.

ЕслиВы отвечаете на мой вопрос, пожалуйста, объясните мне немного о том, что вы использовали, и если вы можете, пожалуйста, если есть какие-нибудь хорошие учебники для такого рода кода, предоставьте мне:

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
import time

options = Options()
#options.headless = True     #for headless
#options.add_argument('--disable-gpu') #for headless and os win

driver = webdriver.Chrome(options=options)

driver.get("https://hidemyna.me/en/proxy-list/")
time.sleep(10) #bypass cloudflare


tbody = driver.find_element_by_tag_name("tbody")
cell = tbody.find_elements_by_tag_name("tr")

for column in cell:
    column = column.text.split(" ")
    print (column[0]+":"+ column[1]) #ip and port

nxt = driver.find_element_by_class_name('arrow_right')
nxt.click()

Answer 1

Чтобы перейти на следующую страницу , вы можете попробовать следующее решение:

• Кодовый блок:

  from selenium import webdriver
  from selenium.webdriver.chrome.options import Options
  from selenium.webdriver.common.by import By
  from selenium.webdriver.support.ui import WebDriverWait
  from selenium.webdriver.support import expected_conditions as EC
  from selenium.common.exceptions import TimeoutException, WebDriverException
  
  options = Options()
  options.add_argument("start-maximized")
  options.add_argument("disable-infobars")
  options.add_argument("--disable-extensions")
  driver = webdriver.Chrome(chrome_options=options, executable_path=r'C:\Utility\BrowserDrivers\chromedriver.exe')
  driver.get('https://hidemyna.me/en/proxy-list/')
  while True:
      try:
          driver.execute_script("return arguments[0].scrollIntoView(true);", WebDriverWait(driver, 20).until(EC.element_to_be_clickable((By.XPATH, "//li[@class='arrow__right']/a"))))
          driver.find_element_by_xpath("//li[@class='arrow__right']/a").click()
          print("Navigating to Next Page")
      except (TimeoutException, WebDriverException) as e:
          print("Last page reached")
          break
  driver.quit()
  

• Консольный вывод:

  Navigating to Next Page
  Navigating to Next Page
  Navigating to Next Page
  Navigating to Next Page
  Navigating to Next Page
  Navigating to Next Page
  Navigating to Next Page
  Navigating to Next Page
  Navigating to Next Page
  Navigating to Next Page
  Navigating to Next Page
  Navigating to Next Page
  Navigating to Next Page
  Navigating to Next Page
  Navigating to Next Page
  Navigating to Next Page
  Navigating to Next Page
  Navigating to Next Page
  Navigating to Next Page
  Navigating to Next Page
  .
  .
  .
  Navigating to Next Page
  Last page reached
  

Answer 2

Вы на самом деле не нажимаете на якорный тег <a>.Для перехода на следующую страницу вам необходимо click по ссылке <a>.

Вы можете использовать find_element_by_xpath , как показано ниже.

driver.find_element_by_xpath('//*[@id="content-section"]/section[1]/div/div[4]/ul/li[1]/a').click()

Вместо использования xpath вы можете использовать css-селектор, как предложено другим @Andersson.