udpipe (words_rake) как связать ключевые слова с документом, из которого они были извлечены - PullRequest
Новая
       30

udpipe (words_rake) как связать ключевые слова с документом, из которого они были извлечены

2 голосов
/ 27 января 2020

Я использую функцию keyword_rake из пакета udpipe (для R) для извлечения ключевых слов из пакета документов. 

udmodel_en <- udpipe_load_model(file = dl$file_model)
x <- udpipe_annotate(udmodel_en, x = data$text)
x <- as.data.frame(x)

keywords <- keywords_rake(x = x, term = "lemma", group = "doc_id", 
                          relevant = x$xpos %in% c("NN", "JJ"), ngram_max = 2)

, где данные выглядят следующим образом 

  Text
  "cats are nice but dogs are better..."
  "I really like dogs..."
  "red flowers are pretty, especially roses..."
  "once I saw a blue whale ..."
  ....

( каждая строка является отдельным документом)

Однако выходные данные не включают происхождение ключевых слов и предоставляют список ключевых слов для всех документов

как я могу связать эти ключевые слова с соответствующими документы они были взяты? (Т.е. есть список ключевых слов для каждого из документов)

примерно так: 

      keywords
doc1   dog, cat, blue whale
doc2   dog 
doc3   red flower, tower, Donald Trump

1 Ответ

2 голосов
/ 28 января 2020

Вы можете использовать txt_recode_ngram вместе с результатом keywords_rake, чтобы сделать это. Преимущество состоит в том, что все вернулось в исходный файл data.frame, и вы можете выбрать то, что вам нужно. Смотрите пример ниже, используя набор данных, поставляемый с udpipe.

Отказ от ответственности: код, скопированный из ответа jwijffels в выпуске 41 на странице github udpipe. 

data(brussels_reviews_anno)
x <- subset(brussels_reviews_anno, language == "nl")
keywords <- keywords_rake(x = x, term = "lemma", group = "doc_id", 
                          relevant = x$xpos %in% c("NN", "JJ"), sep = "-")
head(keywords)

            keyword ngram freq     rake
1  openbaar-vervoer     2   19 2.391304
2         heel-fijn     2    2 2.236190
3  heel-vriendelijk     2    3 2.131092
4 herhaling-vatbaar     2    6 2.000000
5  heel-appartement     2    2 1.935450
6 steenworp-afstand     2    4 1.888889

x$term <- txt_recode_ngram(x$lemma, compound = keywords$keyword, ngram = keywords$ngram, sep = "-")
x$term <- ifelse(!x$term %in% keywords$keyword, NA, x$term)
head(x[!is.na(x$term), ])

        doc_id language sentence_id token_id       token      lemma xpos                term
67039 19991431       nl        4379       11         erg        erg   JJ        erg-centraal
67048 19991431       nl        4379       20        leuk       leuk   JJ          leuk-adres
67070 21054450       nl        4380        6       goede       goed   JJ        goed-locatie
67077 21054450       nl        4380       13    Europese   europees   JJ       europees-wijk
67272 23542577       nl        4393       84 uitstekende uitstekend   JJ uitstekend-gastheer
67299 40676307       nl        4396       25   gezellige   gezellig   JJ      gezellig-buurt
...