R Термин частота из большого набора документов - PullRequest
Новая
       20

R Термин частота из большого набора документов

0 голосов
/ 01 октября 2018

У меня есть такой фрейм данных 

ID       content
 1       hello you how are you
 1       you are ok
 2       test

Мне нужно получить частоту по идентификатору для каждого слова в контенте, разделенном пробелами.Который в основном находит уникальные термины в столбце и находит частоту и отображение, сгруппированные по Id 

ID      hello    you   how   are  ok    test
 1        1       3     1    2     1     0
 2        0       0     0    0     0     1

Я пытался 

test<- unique(unlist(strsplit(temp$val, split=" ")))

df<- cbind(temp, sapply(test, function(y) apply(temp, 1, function(x) as.integer(y %in% unlist(strsplit(x, split=" "))))))

Это дает разгруппированное решение, которое я пытаюсьгруппы, но у меня есть более 20000 уникальных значений в содержании, есть ли эффективный способ сделать это?

Ответы [ 2 ]

0 голосов
/ 01 октября 2018

А как насчет пакета, созданного для интеллектуального анализа текста? 

# your data
text <- read.table(text = "
ID      content
1       'hello you how are you'
1       'you are ok'
2       'test'", header = T,  stringsAsFactors = FALSE) # remember the stringAsFactors life saver!

library(dplyr)
library(tidytext)
# here we put in column all the words
unnested <- text %>%
            unnest_tokens(word, content)

# a classic data.frame from a table of frequencies
as.data.frame.matrix(table(unnested$ID, unnested$word))
  are hello how ok test you
1   2     1   1  1    0   3
2   0     0   0  0    1   0
0 голосов
/ 01 октября 2018

Вы можете использовать data.table

library(data.table)
setDT(df1)[, unlist(strsplit(content, split = " ")), by = ID
           ][, dcast(.SD, ID ~ V1)]
#   ID are hello how ok test you
#1:  1   2     1   1  1    0   3
#2:  2   0     0   0  0    1   0

В первой части мы используем unlist(strsplit(content, split = " ")) группами ID, что дает следующий вывод: 

#   ID    V1
#1:  1 hello
#2:  1   you
#3:  1   how
#4:  1   are
#5:  1   you
#6:  1   you
#7:  1   are
#8:  1    ok
#9:  2  test

На следующем шаге мы используем dcast для распространения данных в широкоформатный формат.

data 

df1 <- structure(list(ID = c(1L, 1L, 2L), content = c("hello you how are you", 
"you are ok", "test")), .Names = c("ID", "content"), class = "data.frame", row.names = c(NA, 
-3L))
...