Python веб-очистка с автоматом c вход - PullRequest
Новая
       25

Python веб-очистка с автоматом c вход

0 голосов
/ 29 марта 2020

Я пытаюсь сделать веб-скребок, который должен сначала войти на страницу. Я использую python3 в windows 10 и Phantom JS в веб-браузере. Мой код выглядит следующим образом: 

    from bs4 import BeautifulSoup
    from selenium import  webdriver
    from selenium.webdriver.support.ui import WebDriverWait as wait
    from selenium.webdriver.support import expected_conditions as EC

    mail = 'mymail'
    password = 'mypass'
    url = 'https://www.racingpost.com'
    url_statistic = 'https://www.racingpost.com/statistics/'
    driver = webdriver.PhantomJS()
    driver1 = webdriver.PhantomJS()
    driver.get(url)



    Button1 = driver.find_element_by_xpath('//*[@id="react-rp-auth-root"]/div/div/div/div[1]')
    Button1.click()
    Email = driver.find_element_by_xpath("//*[input/@name='email']")
    Email.send_keys(mail)
    Password = driver.find_element_by_xpath("//*[input/@name='password']")
    Password.send_keys(password)
    Button2 = driver.find_element_by_xpath('//*[@id="react-rp-auth-root"]/div/div/div[2]/form/div[4]/button')
    Button2.click()
    driver.implicitly_wait(20)
    driver1.get(url_statistic)
    driver1.implicitly_wait(20)
    print(driver1.page_source)

Хитрость в том, что я не могу получить доступ к странице статистики, пока я не вошел в систему. Может кто-нибудь, пожалуйста, взгляните на этот код и скажите мне, почему он не загружает statisti c страница (если это возможно, не раскрывая мои учетные данные). Я предполагаю, что это связано с ожиданием. Спасибо заранее.

...