Соскребание PDF-файлов с карты в Интернете

Question

Я пытался скачать pdf-файлы, встроенные в карту, следуя этому коду (оригинал можно найти здесь ). Каждый PDF-файл относится к бразильскому муниципалитету (5570 файлов).

library(XML)
library(RCurl)
url <- "http://simec.mec.gov.br/sase/sase_mapas.php?uf=RJ&tipoinfo=1"
page   <- getURL(url)
parsed <- htmlParse(page)
links  <- xpathSApply(parsed, path="//a", xmlGetAttr, "href")
inds   <- grep("*.pdf", links)
links  <- links[inds]
regex_match <- regexpr("[^/]+$", links, perl=TRUE)
destination <- regmatches(links, regex_match)
for(i in seq_along(links)){
  download.file(links[i], destfile=destination[i])
  Sys.sleep(runif(1, 1, 5))
}

Я уже использовал этот код в других проектах несколько раз, и он работал. Для этого конкретного случая это не так. На самом деле, я пробовал много вещей, чтобы очистить эти файлы, но это кажется мне невозможным. Недавно я получил следующую ссылку. Тогда это позволяет объединить uf (штат) и muncod (муниципальный код) для загрузки файла, но я не знаю, как включить это в код.

http://simec.mec.gov.br/sase/sase_mapas.php?uf=MT&muncod=5100102&acao=download

Заранее спасибо!

Answer 1

devtools::install_github("ropensci/RSelenium")

library(rvest)
library(httr)
library(RSelenium)

# connect to selenium server from within r (REPLACE SERVER ADDRESS)
rem_dr <- remoteDriver(
  remoteServerAddr = "192.168.50.25", port = 4445L, browserName = "firefox"
)

rem_dr$open()

# get the two-digit state codes for brazil by scraping the below webpage
tables <- "https://en.wikipedia.org/wiki/States_of_Brazil" %>%
  read_html() %>%
  html_table(fill = T)
states <- tables[[4]]$Abbreviation

# for each state, we are going to go navigate to the map of that state using
# selenium, then scrape the list of possible municipality codes from the drop
# down menu present in the map
get_munip_codes <- function(state) {
  url <- paste0("http://simec.mec.gov.br/sase/sase_mapas.php?uf=", state)
  rem_dr$navigate(url)
  # have to wait until the drop down menu loads. 8 seconds will be enough time
  # for each state
  Sys.sleep(8)
  src <- rem_dr$getPageSource()

  out <- read_html(src[[1]]) %>%
    html_nodes(xpath = "//select[@id='muncod']/option[boolean(@value)]") %>%
    xml_attrs("value") %>%
    unlist(use.names = F)

  print(state)
  out
}

state_munip <- sapply(
  states, get_munip_codes, USE.NAMES = TRUE, simplify = FALSE
)

# now you can download each pdf. first create a directory for each state, where
# the pdfs for that state will go:
lapply(names(state_munip), function(x) dir.create(file.path("brazil-pdfs", x)))

# ...then loop over each state/municipality code and download the pdf
lapply(
  names(state_munip), function(state) {
    lapply(state_munip[[state]], function(munip) {
      url <- sprintf(
        "http://simec.mec.gov.br/sase/sase_mapas.php?uf=%s&muncod=%s&acao=download",
        state, munip
      )
      file <- file.path("brazil-pdfs", state, paste0(munip, ".pdf"))
      this_one <- paste0("state ", state, ", munip ", munip)
      tryCatch({
        GET(url, write_disk(file, overwrite = TRUE))
        print(paste0(this_one, " downloaded"))
      },
      error = function(e) {
        print(paste0("couldn't download ", this_one))
        try(unlink(file, force = TRUE))
      }
      )
    })
  }
)

ШАГИ:

1. Получите IP-адрес вашего компьютера с Windows (см. https://www.digitalcitizen.life/find-ip-address-windows)

2. запустить Docker-сервер Seleen, выполнив следующее: docker run -d -p 4445:4444 selenium/standalone-firefox:2.53.1

3. запустить контейнер Rocker / Tidyverse Docker, выполнив это: docker run -v `pwd`/brazil-pdfs:/home/rstudio/brazil-pdfs -dp 8787:8787 rocker/tidyverse

4. Перейдите в предпочитаемый браузер и введите этот адрес: http://localhost:8787 ... Это приведет вас к экрану входа на сервер rstudio. войдите под именем пользователя "rstudio" и паролем "rstudio"

5. Скопируйте / вставьте код, показанный выше, в новый документ Rstudio .R. Замените значение для remoteServerAddr на IP-адрес, который вы нашли в шаге 1.

6. Запустите код ... это должно записать PDF-файлы в каталог "brazil-pdfs", который находится как внутри контейнера, так и сопоставлен с вашей машиной Windows (другими словами, PDF-файлы будут отображаться в Бразилии -pdfs dir на вашей локальной машине). обратите внимание, что для запуска кода требуется некоторое время, так как есть много PDF-файлов.