XML2-пакет: как лечить пустые узлы? - PullRequest
Новая
       9

XML2-пакет: как лечить пустые узлы?

0 голосов
/ 15 апреля 2019

Я пытаюсь извлечь некоторые данные с сайта html. Я получил 500 узлов, которые должны содержать дату, заголовок и резюме. Используя 

url <- "https://www.bild.de/suche.bild.html?type=article&query=Migration&resultsPerPage=1000"
html_raw <- xml2::read_html(url)
main_node <- xml_find_all(html_raw, "//section[@class='query']/ol") %>%
  xml_children()

xml_find_all(main_node, ".//time") #time
xml_find_all(main_node, ".//span[@class='headline']") #title
xml_find_all(main_node, ".//p[@class='entry-content']") #summary

возвращает три вектора с датами, заголовками и резюме, которые можно связать вместе. По крайней мере, в теории. К сожалению, мой Кодекс находит 500 дат, 500 названий, но только 499 резюме. Причина этого в том, что один из узлов просто отсутствует.

Это оставляет меня с проблемой, что я не могу связать это в фрейм данных из-за разницы в длине. Резюме не соответствуют точным датам и названиям.

Простым решением было бы зацикливание узлов и замена пустого узла заполнителем, например, «NA». 

dates <- c()
titles <- c()
summaries <- c()

for(i in 1:length(main_node)){
  date_temp <- xml_find_all(main_node[i], ".//time") %>%
    xml_text(trim = TRUE) %>%
    as.Date(format = "%d.%m.%Y")
  title_temp <- xml_find_all(main_node[i], ".//span[@class='headline']") %>%
    xml_text(trim = TRUE)
  summary_temp <- xml_find_all(main_node[i], ".//p[@class='entry-content']") %>%
    xml_text(trim = TRUE)

  if(length(summary_temp) == 0) summary_temp <- "NA"

  dates <- c(dates, date_temp)
  titles <- c(titles, title_temp)
  summaries <- c(summaries, summary_temp)
}

Но это делает простой трехстрочный код ненужным длинным. Итак, мой вопрос, который я предполагаю: есть ли более сложный подход, чем цикл?

1 Ответ

1 голос
/ 15 апреля 2019

Вы можете использовать библиотеку purrr, чтобы помочь и избежать явного цикла 

library(purrr)
dates <- main_node %>% map_chr(. %>% xml_find_first(".//time") %>% xml_text())
titles <- main_node %>% map_chr(. %>% xml_find_first(".//span[@class='headline']") %>% xml_text())
summaries <- main_node %>% map_chr(. %>% xml_find_first(".//p[@class='entry-content']") %>% xml_text())

При этом используется тот факт, что xml_find_first вернет NA, если элементы не найдены, как указано@ Dave2e.

Но в целом увеличение списка путем добавления каждой итерации в цикл очень неэффективно в R. Лучше предварительно выделить вектор (поскольку он будет иметь известную длину), а затем присваивать значения каждой итерациив соответствующий слот (out[i] <- val).Нет ничего плохого в самих циклах в R;это действительно просто перераспределение памяти, которое может замедлить процесс.

...