Скребковая многостраничная таблица с использованием селена и питона - PullRequest
0 голосов
/ 17 декабря 2018

Я должен почистить сайт онлайн-бронирования авиабилетов.

driver = webdriver.Chrome('C:\\Users\\HP\\Downloads\\Compressed\\chromedriver_win32_2\\chromedriver.exe')
driver.set_page_load_timeout(30)

driver.get("https://matrix.itasoftware.com/")
driver.maximize_window()
driver.find_element_by_id("cityPair-orig-0").send_keys("BOM")
driver.find_element_by_class_name("relative").click()
driver.wait = WebDriverWait(driver, 20)

driver.find_element_by_id("cityPair-dest-0").send_keys("AMS")
driver.find_element_by_class_name("relative").click()
driver.wait = WebDriverWait(driver, 20)

driver.find_element_by_id("cityPair-outDate-0").send_keys("01/01/2019")
driver.find_element_by_class_name("relative").click()
driver.wait = WebDriverWait(driver, 20)

driver.find_element_by_id("cityPair-outDate-0").send_keys("02/01/2019")
driver.find_element_by_class_name("relative").click()
driver.wait = WebDriverWait(driver, 20)
driver.wait = WebDriverWait(driver, 30)
search = driver.find_element_by_id("searchButton-0")

driver.wait = WebDriverWait(driver, 30)
search.click()

Когда я запускаю код, сайт, который я получаю, не похож на настоящий сайт.Фактический веб-сайт содержит многостраничную таблицу (17 страниц), которая уменьшается до 1 страницы, когда я запускаю код.Из-за этого я не могу получить список всех авиакомпаний после очистки.

Это реальный веб-сайт, на котором в правом нижнем углу отображаются 17 страниц

Это я получаю после запуска кода.И это суммирует все 17 страниц в 1, пропуская авиалинии между ними.Есть много авиакомпаний, пропавших без вести на веб-странице, которую я получаю после очистки

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...