исправление ошибок (преобразование в data.frame) XML-файл в R с использованием xlm2 и xlmtools - PullRequest
Новая
       36

исправление ошибок (преобразование в data.frame) XML-файл в R с использованием xlm2 и xlmtools

1 голос
/ 10 июня 2019

Я пытаюсь преобразовать этот xml_file (и многие другие подобные) в data.frame в R. Желаемый результат: data.frame (или tibble, data.table и т. Д.) С помощью:

  • Одна строка на Deputado (это основной тег / уровень xml_file, их 4)
  • Все переменные в каждом Deputado должны быть столбцами.
  • Категории вложений с несколькими значениями (например, comissao, cargoComissoes и т. Д.) Можно игнорировать.

В приведенном ниже коде я попытался выполнить Пример 2 в файле readme для github /.../ xmltools , но я получил ошибку: 

...
+   dplyr::mutate_all(empty_as_na)
Error: Argument 4 must be length 4, not 39

Любая помощь в исправлении этого (или другая стратегия с полным примером) будет принята с благодарностью.

Код (с воспроизводимой ошибкой): 

file <- "https://www.camara.leg.br/SitCamaraWS/Deputados.asmx/ObterDetalhesDeputado?ideCadastro=141428&numLegislatura="
doc <- file %>%
  xml2::read_xml()
nodeset <- doc %>%
  xml2::xml_children()
length(nodeset) # lots of nodes!
nodeset[1] %>% # lets look at ONE node's tree
  xml_view_tree()
# lets assume that most nodes share the same structure
terminal_paths <- nodeset[1] %>%
  xml_get_paths(only_terminal_parent = TRUE)

terminal_xpaths <- terminal_paths %>% ## collapse xpaths to unique only
  unlist() %>%
  unique()

# xml_to_df (XML package based)
## note that we use file, not doc, hence is_xml = FALSE
# df1 <- lapply(xpaths, xml_to_df, file = file, is_xml = FALSE, dig = FALSE) %>%
#   dplyr::bind_cols()
# df1

# xml_dig_df (xml2 package based)
## faster!
empty_as_na <- function(x){
  if("factor" %in% class(x)) x <- as.character(x) ## since ifelse wont work with factors
  if(class(x) == "character") ifelse(as.character(x)!="", x, NA) else x
}

terminal_nodesets <- lapply(terminal_xpaths, xml2::xml_find_all, x = doc) # use xml docs, not nodesets! I think this is because it searches the 'root'.
df2 <- terminal_nodesets %>%
  purrr::map(xml_dig_df) %>%
  purrr::map(dplyr::bind_rows) %>%
  dplyr::bind_cols() %>%
  dplyr::mutate_all(empty_as_na)

1 Ответ

1 голос
/ 10 июня 2019

Вот подход с пакетом XML.

library(tidyverse)
library(XML)

df = xmlInternalTreeParse("./Data/ObterDetalhesDeputado.xml")
df_root = xmlRoot(df)
df_children = xmlChildren(df_root)

df_flattened = map_dfr(df_children,  ~.x %>% 
                         xmlToList() %>% 
                         unlist %>% 
                         stack %>% 
                         mutate(ind = as.character(ind),
                                ind = make.unique(ind)) %>% # for duplicate identifiers
                         spread(ind, values))

Следующие узлы являются вложенными списками.Таким образом, они будут отображаться в виде дубликатов столбцов с прикрепленными номерами.Вы можете удалить их соответственно. 

cargosComissoes 2
partidoAtual 3
gabinete 3
historicoLider 4
comissoes 11
...