Я не могу создать матрицу tf-idf для моих тестовых данных, используя text2vec - PullRequest
0 голосов
/ 25 октября 2019

Я следую этому уроку и выполняю его так же, как тренировочный набор, но он продолжает повторять одно и то же. Кто-то знает, что с этим не так?

> #Construct sample document-term matrix con el vectorizer inicial
> sample.it <- itoken(rawsample$Abstract, 
+                     preprocessor = prep_fun, 
+                     tokenizer = tok_fun, 
+                     ids = rawsample$id,
+                     progressbar = F) 
> sample.dtm <- create_dtm (sample.it, vectorizer, vtype = "dgTMatrix", progressbar = FALSE)
> sample.tfidf <- TfIdf$new() #define tfidf model
> sample.tfidf <- fit_transform(sample.dtm, tfidf)
Error in fit_transform.Matrix(sample.dtm, tfidf) : 
  inherits(model, "mlapiTransformation") is not TRUE
> sample.tfidf  = create_dtm(sample.it, vectorizer, vtype = "dgTMatrix", progressbar = FALSE) %>% 
+   transform(tfidf)
Error in transform.Matrix(., tfidf) : 
  inherits(model, "mlapiTransformation") is not TRUE

1 Ответ

0 голосов
/ 27 октября 2019
sample.tfidf <- TfIdf$new() #define tfidf model
sample.tfidf <- fit_transform(sample.dtm, tfidf)

Где вы определяете tfidf? Может быть, вам нужно что-то вроде:

model =  TfIdf$new() #define tfidf model
sample.tfidf = fit_transform(sample.dtm, model)

...