Очистка веб-сайта с помощью формы и JS с помощью R - PullRequest
Новая
       10

Очистка веб-сайта с помощью формы и JS с помощью R

0 голосов
/ 27 апреля 2018

Я пытаюсь отказаться от веб-сайта, который имеет форму и генерирует информацию, которую я хочу получить от JS (я думаю).

Это веб-сайт: https://www.distancecalculator.net/, он рассчитывает расстояние между городами.

Например, я хочу вычислить расстояние между этими двумя городами:

  • Craíbas - AL, Бразилия
  • Масейо - AL, Бразилия

Кажется, что хотя я использую POST для заполнения формы, мой скребок все еще собирает доступные данные, прежде чем нажать кнопку "Рассчитать". Что я делаю не так?

Вот мой код: 

library(httr)
library(rvest)

url <- "https://www.distancecalculator.net/"

fd <- list(
  submit = "Calculate Distance",
  "originCity"  = "Craíbas - AL, Brasil",
  "destinationCity" = "Maceió - AL, Brasil"
)

resp<-POST(url, body=fd, encode="form")
conte <- content(resp)
conte

tex <- conte %>% html_nodes(xpath = '//span[@id="driving-distance-km"]/text()') %>% html_text()
tex

1 Ответ

0 голосов
/ 27 апреля 2018

Я согласен с комментарием, что RSeleneium будет лучшим для этого. Вот ваш желаемый результат с использованием RSelenium. 

library(RSelenium)

url <- "https://www.distancecalculator.net/"

#Start Selenium
rD <- rsDriver(port = 4444L, browser = "chrome")
remDr <- rD$client 
remDr$navigate(url)

#Type in the information
originCity <- remDr$findElement(using = "css", "#originCity")
originCity$sendKeysToElement(list("Craíbas - AL, Brasil"))
#Click the first item
clickFirst <- remDr$findElements(using = "css", ".pac-item")
clickFirst2 <- unlist(lapply(clickFirst, function(x){
  x$getElementText()
}))
clickFirst2
click <- clickFirst[[which(clickFirst2 == clickFirst2[1])]]
click$clickElement()

destinationCity <- remDr$findElement(using = "css", "#destinationCity")
destinationCity$sendKeysToElement(list("Maceió - AL, Brasil"))
#Click the first item
clickFirst <- remDr$findElements(using = "css", ".pac-item")
clickFirst2 <- unlist(lapply(clickFirst, function(x){
  x$getElementText()
}))
clickFirst2
click <- clickFirst[[which(clickFirst2 == clickFirst2[1])]]
click$clickElement()

#No longer Necessary 
calculate <- remDr$findElements(using = "xpath", '//*[contains(concat( " ", 
@class, " " ), concat( " ", "button", " " ))]')
calculate2 <- unlist(lapply(calculate, function(x){
   x$getElementText()
 }))
calculate2
click <- calculate[[which(calculate2 == calculate2[1])]]
click$clickElement()

#Scrape the result
dist <- remDr$findElements(using = "css", "#driving-distance-km")
dist <- unlist(lapply(dist, function(x){
  x$getElementText()
}))
dist
remDr$close()

И ссылка на информацию о пакете RSelenium: https://cran.r -project.org / web / packages / RSelenium / виньетки / RSelenium-basics.html

...