«Как исправить« неверно сформированный URL »в веб-поиске Selenium - PullRequest
0 голосов
/ 08 ноября 2019

Моя проблема в том, что я пытаюсь собрать названия фильмов и шоу Netflix с веб-сайта, на котором они перечислены на 146 различных страницах, поэтому я сделал цикл, чтобы попытаться захватить данные со всех страниц, однако при использованиицикл делает мой URL искаженным, и я не знаю, как это исправить.

Я убедился, что часть кода веб-драйвера работает, то есть, если я введу URL-адрес для driver.get, он даст мнеинформация, которая мне нужна, однако, при использовании цикла она открывает несколько окон Firefox и не помещает ни один URL ни в одно из окон. Я также добавил задержку, чтобы попытаться проверить, не изменился ли URL-адрес до его использования, но он все равно не работает.

from selenium import webdriver
import time
for i in range(1,3):
    URL = "https://flixable.com/?min-rating=0&min-year=1920&max-year=2019&order=date&page={}"
    newURL = URL.format(i)
    print(newURL)
    time.sleep(10)
    driver = webdriver.Firefox()
    driver.get('newURL')
    titles = driver.find_elements_by_css_selector('#filterContainer > div > div > p > strong > a')
for post in titles:
    print(post.text)

1 Ответ

0 голосов
/ 08 ноября 2019
driver.get('newURL')

Это пытается получить строку newURL, а не переменную.

driver.get(newURL)

Это должно решить проблему.

РЕДАКТИРОВАТЬ: На примечании стороны, второйцикл должен иметь отступ внутри первого цикла.

Надеюсь, это поможет. Удачи.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...