Попытка создать неизменный URL с данными, распределенными по страницам. - PullRequest
Новая
       26

Попытка создать неизменный URL с данными, распределенными по страницам.

0 голосов
/ 17 ноября 2018

Я новичок в Webscrapping.URL-адрес, с которым я работаю:цикл для извлечения таблицы данных. Вот мой код: 

install.packages("XML")
install.packages("RCurl")
install.packages("rlist")
install.packages("bitops")
library(bitops)
library(XML)
library(RCurl)
url1<- getURL("https://tsmc.tripura.gov.in/doc_list",.opts = 
list(ssl.verifypeer = FALSE))
table1<- readHTMLTable(url1)
table1<- list.clean(table1, fun = is.null, recursive = FALSE)
n.rows <- unlist(lapply(table1, function(t) dim(t)[1]))
table1[[which.max(n.rows)]]
View(table1)
table11= table1[["NULL"]]

Пожалуйста, помогите. Спасибо!

1 Ответ

0 голосов
/ 17 ноября 2018

Возможно, попробуйте это решение: 

url <- "https://tsmc.tripura.gov.in/doc_list?page="
sq <- seq(1, 30) # There appears to be 30 pages so we create a sequence of 1:30 results

links <- paste0(url, sq) #Paste the sequence after the url "page="

store <- NULL
tbl <- NULL

library(rvest) #extract the tables
for(i in links){
  store[[i]] = read_html(i)
  tbl[[i]] = html_table(store[[i]])
}

library(plyr)
df <- ldply(tbl, data.frame) #combine the list of data frames into one large data frame
df$`.id` <- gsub("https://tsmc.tripura.gov.in/doc_list?page=", " ", df$`.id`, fixed = TRUE)

, которое дает 846 наблюдений по 8 переменным.

РЕДАКТИРОВАТЬ: я обнаружил, что первый url не имеет последовательности.Чтобы добавить первую страницу и rbind ее с остальными данными, используйте следующее: 

firsturl <- "https://tsmc.tripura.gov.in/doc_list"

first_store = read_html(firsturl)
first_tbl = html_table(first_store)
first_df <- as.data.frame(first_tbl)
first_df$`.id` <- 0


df2 <- rbind(first_df, df)
...