Я сталкиваюсь с проблемой chrome webdriver selenium не дает мне обновленный контент, он показывает мне предыдущий контент, но на самом деле после нажатия на следующую страницу ссылки новые данные добавляются в браузер, но когда я получаю через драйвер, он дает мне как и раньше.
ссылка на сайт: www.abc.com
Моя цель - извлечь всю ссылку на вакансию. но я не могу сделать это, пожалуйста, помогите мне в этом.
job_links = []
per_page = 9
total_jobs = int(driver.find_element_by_css_selector(".search-results-count.total-jobs").text.split("(")[1].split(")")[0])
total_pages = math.ceil(total_jobs / per_page)
for x in range(1, total_pages):
print("Page number: ", x)
jobs_on_page = ""
time.sleep(5)
jobs_on_page = driver.find_elements_by_xpath("//div[@class='module job-card-wrapper col-md-4 col-xs-12 col-sm-6 corporate-regular background-white']")
for job in jobs_on_page:
print("job is:", job)
job_link = job.find_element_by_xpath("./a").get_attribute('href').split("%")[0]
job_links.append(job_link)
# if x != (total_pages - 1):
print("Hello Page: ", x)
element = driver.find_element_by_xpath(
"//div[@class='reinvent-pagination-next']//span[@class='arrow cta-arrow']")
webdriver.ActionChains(driver).move_to_element(element).click(element).perform()
# self.wait.until(EC.element_to_be_clickable((By.XPATH, "//div[@class='reinvent-pagination-next']//span[@class='arrow cta-arrow']"))).click()
time.sleep(10)"
это дает мне периодически ссылки на первую страницу работы, однако моя страница изменяется в webdriver.