Сбой сайта RSelenium - PullRequest
Новая
       30

Сбой сайта RSelenium

0 голосов
/ 21 апреля 2020

Привет, ребята, я пытаюсь создать динамичный c Страница обзора. Мне нужно прокрутить вниз, чтобы загрузить все отзывы, которые мне нужны. Но мой вебдрайвер всегда вылетает после прокрутки 2-3 раза. В чем может быть причина и как я могу это исправить? У меня такое ощущение, что прокрутка идет неестественно и Amazon блокирует сайт. Но я новичок ie в этой области 

remDr$navigate("https://www.amazon.de/gp/profile/amzn1.account.AGT4BO6HE6R5EZDNDXMTZQNPGMQA/ref=cm_cr_dp_d_gw_tr?ie=UTF8")

#Scroll Down to Load Whole Site
elem = remDr$findElement("css", "body")
elem$sendKeysToElement(list(key = "end"))
Sys.sleep(runif(1,3,5))
elem$sendKeysToElement(list(key = "end"))
Sys.sleep(runif(1,3,5))
elem$sendKeysToElement(list(key = "end"))
Sys.sleep(runif(1,3,5))
elem$sendKeysToElement(list(key = "end"))
Sys.sleep(runif(1,3,5))

#Find Relevant Table
elem = remDr$findElement(using="id", value = "customer-profile-timeline")
elemtxt = elem$getElementAttribute("outerHTML")[[1]]

#Read Whole HTML
elemHTML = read_html(elemtxt)

#Find Date2
date2 = html_text(html_nodes(elemHTML, "span.a-profile-descriptor"))
date2 = sub(".*· ","",date2)
date2 = gsub("\\.","",date2)
date2 = sub("Sept", "Sep",date2)
date2 = strptime(date2,format="%d %b %Y")
date2
...