скачать несколько файлов .xlsx с нескольких URL-страниц в R

Question

Попытка загрузить несколько страниц .xlsx в R с этого URL.

https://niti.gov.in/best-practices/district-wise-statistics

Прочитал в URL и может загружать по одной странице за раз, но хочет импортировать все страницы одновременно.

pg <- read_html("https://niti.gov.in/best-practices/district-wise-statistics/")

pg %>% 
  html_nodes("a") %>%
  html_attr("href") %>%
  str_subset("\\.xlsx") 

Answer 1

Нечто подобное может помочь вам получить то, что вам нужно.

library(rvest)
library(dplyr)

temp.fldr <- paste0(tempdir(), '/')

base.url <- 'https://niti.gov.in/best-practices/district-wise-statistics'

last <- read_html(base.url) %>%
         html_nodes(xpath = "//a[contains(text(), 'last ')]") %>%
         html_attr('href')

pg.cnt = as.numeric(sub('.*=', '', last))

for(i in 0:pg.cnt){
  page <- paste0(base.url, '?term_node_tid_depth=All&page=', i)
  print(paste('Processing page:', i + 1, 'of', pg.cnt + 1))

  links <- read_html(page) %>%
           html_nodes(xpath = "//a[contains(text(), 'xlsx')]")

  files <- lapply(links, function(x){
             fpath <- paste0(temp.fldr, trimws(sub("^.*?\\.", '', html_text(x))))
             link <- paste0('https://niti.gov.in', html_attr(x, 'href'))
             download.file(link, fpath, mode = 'wb')
             print(fpath)
             return(fpath)
           })
}