Проблема при очистке веб-страниц с помощью Selenium и Python - PullRequest
Новая
       27

Проблема при очистке веб-страниц с помощью Selenium и Python

1 голос
/ 23 февраля 2020

Я пытаюсь почистить этот веб-сайт

https://maroof.sa/BusinessType/BusinessesByTypeList?bid=14&sortProperty=BestRating&DESC=True При нажатии на кнопку есть кнопка для загрузки большего количества контента, она отображает больше контента без изменения созданного мной URL-адреса. сначала фрагмент кода для загрузки всего содержимого, затем извлеките все URL-адреса нужных мне данных, затем go к каждой ссылке и очистите данные 

url = "https://maroof.sa/BusinessType/BusinessesByTypeList?bid=26&sortProperty=BestRating&DESC=True"
driver = webdriver.Chrome()
driver.get(url)
# button = driver.find_element_by_xpath('//*[@id="loadMore"]/button')
num = 1
while num <= 507:
    sleep(4)
    button = WebDriverWait(driver, 50).until(EC.element_to_be_clickable((By.XPATH, '//*[@id="loadMore"]/button')))
    button.click()
    print(num)
    num += 1
links = [l.get_attribute('href') for l in WebDriverWait(driver, 40).until(EC.visibility_of_all_elements_located((By.XPATH, '//*[@id="list"]/a')))]

, похоже, работает, но иногда это не так нажмите на кнопку, которая загружает контент, он случайно нажимает на что-то другое и выдает ошибку, и я должен начать все сначала. Можете ли вы помочь мне?

1 Ответ

2 голосов
/ 23 февраля 2020

Чтобы очистить веб-сайт , нажав на кнопку, чтобы загрузить больше контента, вам нужно вызвать WebDriverWait для element_to_be_clickable(), и вы можете использовать следующую Стратегию локатора : 

from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC

options = webdriver.ChromeOptions() 
options.add_argument("start-maximized")
options.add_experimental_option("excludeSwitches", ["enable-automation"])
options.add_experimental_option('useAutomationExtension', False)
driver = webdriver.Chrome(options=options, executable_path=r'C:\WebDrivers\chromedriver.exe')
driver.get('https://maroof.sa/BusinessType/BusinessesByTypeList?bid=26&sortProperty=BestRating&DESC=True')
while True:
    try:
    driver.execute_script("return arguments[0].scrollIntoView(true);", WebDriverWait(driver, 5).until(EC.visibility_of_element_located((By.XPATH, "//button[@class='btn btn-primary']"))))
    WebDriverWait(driver, 20).until(EC.element_to_be_clickable((By.XPATH, "//button[@class='btn btn-primary']"))).click()
    except TimeoutException:
    break
print([l.get_attribute('href') for l in WebDriverWait(driver, 10).until(EC.visibility_of_all_elements_located((By.XPATH, '//*[@id="list"]/a')))])
driver.quit()
...