DocumentTermMatrix в R - сумма уникальных слов для каждой строки - PullRequest
Новая
       13

DocumentTermMatrix в R - сумма уникальных слов для каждой строки

0 голосов
/ 01 марта 2019

У меня есть DocumentTermMatrix data_tags с 80 000 строк (групп тегов) и 900 000 столбцов, так что 900 000 различных тегов.С помощью findFreqTerms (data_tags, 2) я обнаружил, что около 462 000 тегов являются уникальными.

Я хочу создать функцию, в которой происходят 2 вещи: - удалить эти 462 000 столбцов, чтобы только теги с частотой 2 или болееоставил;- создать 1 новый столбец (Uniques): sum () для каждой строки всех уникальных тегов, которые были удалены. 

     tag1 tag2 tag3 tag4
1       0    0    1    0
2       0    1    0    0
2       1    0    0    0
3       1    0    0    0
4       0    1    0    1
5       1    0    0    0
6       0    1    0    0

например, тег 3 и тег 4 не являются обязательными (только один раз появляется в столбце):

     tag1 tag2 Uniques
1       0    0       1   
2       0    1       0    
2       1    0       0    
3       1    0       0    
4       0    1       1    
5       1    0       0    
6       0    1       0

Заранее спасибо за помощь.

1 Ответ

0 голосов
/ 01 марта 2019

Может быть, следующая работа для вас. 

library(slam)
library(tm)

set.seed(0)
terms <- sapply(LETTERS, function(letter) paste(rep.int(letter, 5), collapse = ""))
ndocs <- 5
doc_lengts <- sample(5:10, ndocs, TRUE)
docs <- lapply(doc_lengts, function(doc_len) sample(terms, doc_len, TRUE))

dtm <- DocumentTermMatrix(Corpus(VectorSource(docs)))
as.matrix(dtm)

## delete coloms so that only terms with frequency >= 2 are left
## here the function col_sums from the slam package helps
b <- col_sums(dtm) >= 2
dtm_deleted <- dtm[,!b]
dtm <- dtm[,b]
as.matrix(dtm)

## Uniques columns
as.matrix(dtm_deleted)
row_sums(dtm_deleted > 0)
dtm_new <- cbind(dtm, Uniques = row_sums(dtm_deleted > 0))
colnames(dtm_new)[ncol(dtm_new)] <- "Uniques"
as.matrix(dtm_new)
...