У меня проблема с получением данных с веб-сайта. Проблема в том, что я пытаюсь получить id, который связан с каждым объектом. Например, скажем, у меня более 10000 моделей машин, и у каждой модели есть своя ссылка.
Когда вы нажимаете All cars, оно не открывает новое окно, вместо этого появляется небольшое всплывающее окно со свитком , Сначала видны только 10 автомобилей. если вы возьмете обычное дело, вы получите только 10 машин.
elements=br.find_elements_by_xpath("//*[@class='common_class_name']")
дает вам только 10 машин. Вы захватываете элементы внутри, как text,get_attribute('title')
Я написал код для выбора первых 150, но после некоторых прокруток он открывает случайную страницу машины.
element = []
while len(element)<150:
element=br.find_elements_by_xpath("//*[@class='common_class_name']")
element[-1].click() # clicks at the last visible object so the list increases
time.sleep(2) # loading time
Теперь это не работает. Все проблемы бесконечной прокрутки, я не знаю, как прокрутить всплывающее окно прокрутки.
Что я могу сделать? Это можно решить, нажав клавиши со стрелками или прокрутку, но как мне получить полосу прокрутки или стрелку вниз на всплывающей прокрутке?