Могу ли я просмотреть каждую страницу (от 1 до 100 страниц) для нескольких URL (905 веб-сайтов) в R? - PullRequest
Новая
       19

Могу ли я просмотреть каждую страницу (от 1 до 100 страниц) для нескольких URL (905 веб-сайтов) в R?

0 голосов
/ 02 января 2019

Я удалил несколько URL, используя следующий код: 

x <- NULL
for (i in 1:5){
  k1<-"https://forums.vwvortex.com/forumdisplay.php?5449-Atlas-SUV/page"
  k2<-"&pp=200"
  url<-paste(k1,i,k2,sep="") 
  review <- read_html(url)
  threads<- cbind(review %>% html_nodes("h3.threadtitle") %>% html_nodes("a") %>%   html_attr("href")  )
 x<- rbind(x, threads)}

x[] <- Map(paste, 'https://forums.vwvortex.com/', x, sep="")
url<- paste(x)
url <- sub("\\&s=bd72f867af71d9d03d74dc394a45b624","/page", url)

Теперь у меня есть все необходимые URL.Я также могу очистить все ответы, связанные с каждым URL, который я ранее просматривал, используя следующий код: 

results <- lapply(url, function(i) {
  review <- read_html(i)
  threads<- cbind(review %>% html_nodes("blockquote.postcontent.restore") %>% html_text())
  replies <- as.data.frame(threads)
  return(replies)   
})

Проблема в том, что я могу очистить только первую страницу каждого URL.Есть ли способ, которым я смогу перебирать от 1 до 100 страниц для каждого URL, который я удалил?

...