В моем скребке рейсов Google страница загружается, а затем обновляется / обновляется. Когда я использую get.url, я вижу только первую, а не обновленную версию - PullRequest
Новая
       18

В моем скребке рейсов Google страница загружается, а затем обновляется / обновляется. Когда я использую get.url, я вижу только первую, а не обновленную версию

0 голосов
/ 30 июня 2019

Я соскребаю Google Multi-City с Python Selenium через ChromeDriver. Полеты Google разработаны таким образом, что они загружают начальную страницу и затем тратят некоторое время на обновление. Мое приложение webscraper может просматривать только начальную страницу и не может получать обновленные результаты. Как мне найти эти обновленные результаты?

Я уже пробовал driver.refresh() и time.sleep(), но ни один из методов не позволяет мне получить обновленные результаты.

Функция очистки: 

def scraper():
    workWithURL = 'https://www.google.com/flights#flt=LAX.LHR,LGW,CDG,ORY,ARN.2019-09-05*BCN,MAD,FRA,GVA,FCO.LAX.2019-09-24;c:USD;e:1;so:1;sd:1;t:f;tt:m'
    driver = webdriver.Chrome(executable_path= '/Users/n8gordon/Downloads/chromedriver') 
    driver.implicitly_wait(50)
    driver.get(workWithURL)
...