Я новичок в Selenium для веб-скребков. Я написал код Python, который, если на IMDB будет отображаться следующая страница результатов: https://www.imdb.com/search/title/?genres=action&title_type=feature&explore=genres&count=50
, я могу использовать Beautiful Soup для анализа HTML-кода на странице и извлечения искомой информации.
Однако я хочу автоматизировать Selenium, чтобы каждый раз нажимать на следующую кнопку, чтобы я мог создать поиск и перейти к концу.
Я пытался использовать следующий код,
from selenium import webdriver
from selenium.common.exceptions import NoSuchElementException, WebDriverException
options = webdriver.ChromeOptions()
options.add_argument("--start-maximized")
options.set_headless()
browser = webdriver.Chrome(executable_path='/usr/local/bin/chromedriver',chrome_options=options)
pause_time=10 # define a pause time in between pages
url='https://www.imdb.com/search/title/?genres=action&title_type=feature'
browser.get(url)
browser = webdriver.Chrome(executable_path='/usr/local/bin/chromedriver',chrome_options=options)
browser.find_element_by_css_selector('lister-page-next next-page').click()
но я получаю сообщение об ошибке NoSuchElementException: Сообщение: такого элемента нет: Невозможно найти элемент: {"method": "css selector", "selector": "lister-page-next next-page"} (Информация о сеансе: безголовый хром = 77.0.3865.120)
Я также пытался
browser.find_element_by_xpath('//a[contains(.,"next-page")]').click()
и также получил ошибку.
Если кто-то может указать мне, как получитьСелен, чтобы нажать Далее, если он существует, это было бы очень полезно. Спасибо.