R Зацикливать каждый URL, очищать, анализировать, извлекать узлы и помещать в фрейм данных - PullRequest
Новая
       12

R Зацикливать каждый URL, очищать, анализировать, извлекать узлы и помещать в фрейм данных

0 голосов
/ 13 февраля 2019

Использование следующих пакетов: require (stringr) require (RCurl) require (XML)

Я могу подключиться к нужной веб-странице и извлечь необходимую информацию. 

> url="https://www.realtor.com/realestateagents/33415/pg-1" doc =
> getURLContent(url, verbose = TRUE) #gets the doc , verbose = show me
> me what you are doing) doc = htmlParse(doc)
> # name =  getNodeSet(doc,  "//div[@itemprop = 'name']") name = sapply(name, xmlValue)
> # phone =  getNodeSet(doc,  "//div[@itemprop= 'telephone']") phone = sapply(phone, xmlValue)

Я сгенерировал список URL-адресов 

urlList = c("https://www.realtor.com/realestateagents/33415/pg-1",
                "https://www.realtor.com/realestateagents/33415/pg-2")

    urlList = as.list(urlList)

Я хотел бы перебрать каждый URL-адрес, захватить одни и те же узлы и поместить результаты в одинфрейм данных, состоящий из столбцов, называемых Имя и Телефон.

Я попробовал следующее безуспешно 

Reduce(function(...) merge(..., all=T), 
       lapply(urls_list, function(x) {
         data.frame(urlList=x, 

                     # d<- htmlParse(getURLContent(x))
                    d<-htmlParse(d)
                    d1 =  getNodeSet(d,  "//div[@itemprop = 'name']")
                    name = sapply(name, xmlValue)

       })) -> results

Спасибо за вашу помощь

1 Ответ

0 голосов
/ 13 февраля 2019

Я думаю, что-то вроде этого должно сработать, чтобы получить информацию, которую вы ищете. 

library(rvest)

zip.codes <- c("33415", "33413")

results <- list()

result.index <- 0

for(zip in zip.codes){

  url <- paste0("https://www.realtor.com/realestateagents/", zip ,"/pg-1" )

  page <- read_html(url)

  max.pages <- as.numeric(max(page %>% 
                                html_nodes(xpath = '//*[@class="page"]') %>% 
                                html_nodes("a") %>% 
                                html_text))

  for(i in c(1:max.pages)){
    print(paste("Processing Zip Code", zip, "- Page", i, "of", max.pages))

    result.index <- result.index + 1

    url <- paste0("https://www.realtor.com/realestateagents/", zip,"/pg-", i)

    page <- read_html(url)

    df <- data.frame(AgentID = page %>% 
                               html_nodes(xpath = '//*[@id="call_inquiry_cta"]') %>% 
                               xml_attr("data-agent-id"),
                     AgentName = page %>% 
                               html_nodes(xpath = '//*[@id="call_inquiry_cta"]') %>% 
                               xml_attr("data-agent-name"),
                     AgentAddr = page %>% 
                               html_nodes(xpath = '//*[@id="call_inquiry_cta"]') %>% 
                               xml_attr("data-agent-address"),
                     AgentPhone = sub("tel:", "", page %>% 
                                                  html_nodes(xpath = '//*[@id="call_inquiry_cta"]') %>% 
                                                  xml_attr("href")),
                     PhoneType = page %>% 
                                 html_nodes(xpath = '//*[@id="call_inquiry_cta"]') %>% 
                                 xml_attr("data-agent-num-type"),
                     AgentWebSite = page %>% 
                                    html_nodes(xpath = '//*[@id="call_inquiry_cta"]') %>% 
                                    xml_attr("data-agent-web-url"))

    results[[result.index]] <- df
  }
}

df <- do.call(rbind, results)
...