Как читать XML-файлы, содержащие несколько «документов» в R для анализа текста? - PullRequest
Новая
       5

Как читать XML-файлы, содержащие несколько «документов» в R для анализа текста?

1 голос
/ 09 октября 2019

Я пытаюсь преобразовать ряд файлов XML в совокупность документов для анализа текста с использованием пакета Quanteda в R. Как загрузить файлы в R таким образом, чтобы их можно было превратить в корпус?

Каждый XML-файл содержит метаданные и текст из 16 статей (заголовок, ссылка). У меня 119 таких XML-файлов.

Вот пример xml-файла, с которым я работаю: 

<item><title>Aseguran que este sábado se verá en las góndolas la rebaja del IVA en alimentos</title>
<link>https://www.losandes.com.ar/article/view?slug=aseguran-que-este-sabado-se-vera-en-las-gondolas-la-rebaja-del-iva-en-alimentos</link><guid>https://www.losandes.com.ar/article/view?slug=aseguran-que-este-sabado-se-vera-en-las-gondolas-la-rebaja-del-iva-en-alimentos</guid><description>Según el presidente de la Asociación de Supermercados Unidos, algunas cadenas podrían aplicar los cambios dispuestos por el Gobierno.</description></item>

<item><title>Vélez: Fernando Gago concentra para el duelo contra Lanús</title><link>https://www.losandes.com.ar/article/view?slug=velez-fernando-gago-concentra-para-el-duelo-contra-lanus</link><guid>https://www.losandes.com.ar/article/view?slug=velez-fernando-gago-concentra-para-el-duelo-contra-lanus</guid><description>El ex mediocampista de Boca se entrenó en Liniers y podría ser parte del equipo que el domingo visitará a Lanús, a las 17.45.</description></item>

<item><title>Scaloni prepara la lista para la gira del seleccionado argentino por los Estados Unidos</title><link>https://www.losandes.com.ar/article/view?slug=scaloni-prepara-la-lista-para-la-gira-del-seleccionado-argentino-por-los-estados-unidos</link><guid>https://www.losandes.com.ar/article/view?slug=scaloni-prepara-la-lista-para-la-gira-del-seleccionado-argentino-por-los-estados-unidos</guid><description>Argentina tiene programado dos amistosos en EEUU frente a Chile y México a principio de septiembre y el domingo confirmaría la nómina. </description></item>

Я не могу понять, как таким образом читать эти тексты в Rгде Quanteda может распознать, что каждый файл содержит 16 отдельных документов.

Мне удалось создать список, содержащий подсписки для каждого файла XML. Похоже, это не сработает и не приведет меня туда, куда я хочу.

Я также пытался просто использовать функцию readtext, которая сопровождает Quanteda, потому что она должна читать XML, но яполучить ошибку (показано ниже). 

rm(list=ls())
setwd("~/research projects/data expansion")
library(rvest)
library(stringr)
library(dplyr)


# Here is what I tried to do first:

setwd("data expansion/")
filename <- list.files()


# the first three functions on this page save the title, description, and link for each article
# as character vectors

get.desc <- function(x){
    page <- read_html(x)
    desc <- html_nodes(page, "item")
    desc <- html_nodes(desc, "description")
    text <- html_text(desc)
}

get.title <- function(x){
  page <- read_html(x)
  title <- html_nodes(page, "item")
  title <- html_nodes(title, "title")
  text <- html_text(title)
}

get.link <- function(x){
  page <- read_html(x)
  link <- html_nodes(page, "item")
  link <- html_nodes(link, "guid")
  text <- html_text(link)
}

# to.collect is a function that iterates that last three "get" functions
# and then stores that information into a list

to.collect<-function(file=file){
    N <- length(file)

    my.store <- vector("list", N)

    for(i in 1:N){

      my.store[[i]][[1]] <- get.title(file[i])
      my.store[[i]][[2]] <- get.desc(file[i])
      my.store[[i]][[3]] <- get.link(file[i])

                }  
    my.store
}


# This loop iterates the to.collect function over every file in the folder
# and then stores each file's information into a larger list called "files_all"
N <- length(all_files)
files_all <- list()
for (i in 1:N) {
  test <- to.collect(file = all_files[i])

  title <- test[[1]][1]
  desc <- test[[1]][2]
  link <- test[[1]][3]

  name <- paste(filename[i],sep = "")
  tmp <- list(title=title,description=desc,link=link)
  files_all[[name]] <- tmp
}

Я не знаю, что делать отсюда ... поэтому я отказался от нее на данный момент

Вот моя попытка простоиспользование readtext () 

#install.packages("quanteda")
#install.packages("readtext")
library(XML)
library(xml2)
library(readtext)
library(quanteda)

texts <- readtext("*.xml")

Я ожидаю, что при использовании readtext результатом должен быть временный файл, содержащий теперь проанализированные xml-файлы, которые я могу преобразовать в корпус. Вместо этого я получаю эту ошибку: 

> texts <- readtext("*.xml")

Error in xml2_to_dataframe(xml) : 
  The xml format does not fit for the extraction without xPath
  Use xPath method instead

1 Ответ

0 голосов
/ 10 октября 2019

То, что вы хотите достичь, может быть сделано следующим образом. Я готовлю две функции

  1. Функция для анализа каждого узла "item"
  2. Функция для обработки всего файла 
library(tidyverse)
library(rvest)

## function to parse each item_node
parse_item <- function(nod){
 return(data.frame(title = nod %>% html_nodes('title') %>% html_text,
                   description = nod %>% html_nodes('description') %>% html_text,
                   link = nod %>% html_nodes('guid') %>% html_text,
                   stringsAsFactors = F))
}

## function to process entire file
parse_file <- function(filename){
  read_html(filename) %>% # read file
    html_nodes("item") %>% # extract item nodes
    lapply(parse_item) %>% # apply parse_item() function to each nodes
    bind_rows() # stach up the each item into one data.frame
}

Следующие две строки создадутновый data.frame. 

files <- list.files(pattern = ".xml")
entire_dataset <- lapply(files, parse_file) %>% bind_rows()
...