Я очищаю следующий URL: отзыв об отеле , чтобы извлечь текст отзыва на человека (который содержит положительный и отрицательный раздел).
Я могу получить 10-15 результатов, поскольку обзоры распределены по дополнительным страницам. URL-адрес также содержит функцию разбиения на страницы.
Я пытался использовать Selenium для разбиения на страницы по страницам, чтобы получить все результаты, но я не могу найти правильный элемент, так как все элементы, которые я извлекаю, относящиесяссылка на страницу нумерации пуста.
Не могли бы вы, пожалуйста, выделить то, что я делаю не так, пожалуйста?
См. код - ниже. В коде я просто пытаюсь найти кнопку в элементе нумерации страниц на странице, чтобы перейти к следующей странице (щелкнуть).
Спасибо
Код:
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
driver = webdriver.Chrome('/Users/admin/Documents/chrome_driver/chromedriver')
driver.get(url="urlplaceholder")
element = driver.find_elements_by_xpath('//a[@class="pagination_link"]')
print(element)
element = driver.find_elements_by_xpath('//div[@class="pagination_item"]')
print(element)
element = driver.find_elements_by_xpath('//a[@class="c-review__translation-link"]')
print(element)
element.click()