Невозможно достичь конца страницы в GOIBIBO с помощью бесконечной прокрутки - PullRequest
Новая
       12

Невозможно достичь конца страницы в GOIBIBO с помощью бесконечной прокрутки

0 голосов
/ 22 июня 2019

название города 

city_name="Goa"

# trip dates
year="2019"
start_month="06"
start_date="21"
end_month="06"
end_date="23"
start_total=year+start_month+start_date # combine the start date
end_total=year+end_month+end_date # combine the end date

# guest and room details
room_count ="1"
adults="2"
children="0"
child_age="3"

room=room_count+"-"+adults+"-"+children+"-"+child_age # combined room details


url="https://www.goibibo.com/hotels/find-hotels-in-"+city_name+"/" \
    "8717279093827200968/8717279093827200968/" \
    "%7B%22ci%22:%22"+start_total+"%22,%22co%22:%22"+end_total+"%22," \
    "%22r%22:%22"+room+"%22%7D/?{}&sec=dom"
main_page_data=driver.get(url)
driver.set_window_position(-3000, 0)
posts = driver.find_elements_by_css_selector("div.width100 fl")
for i in range(1,100):
    driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
    t.sleep(1)

soup = BeautifulSoup(driver.page_source, "lxml")
links = soup.find_all('div', {"class": "width100 fl ico20"})
for i in links:
    print(i)
driver.quit()

Я пытаюсь прокрутить страницу вниз, чтобы получить доступ ко всем отелям на сайте. сайт загружает отели на странице прокрутки. в этом коде я получаю информацию только о трех отелях. это не прокрутка до конечной страницы.

...