Выберите фразы, найденные в словаре, и верните фрейм данных doc_id и фразы - PullRequest
Новая
       79

Выберите фразы, найденные в словаре, и верните фрейм данных doc_id и фразы

2 голосов
/ 19 марта 2020

У меня есть файл словаря медицинских фраз и набор необработанных текстов. Я пытаюсь использовать файл словаря, чтобы выбрать соответствующие фразы из текста. Фразы, в данном случае, это n-граммы от 1 до 5 слов. В конце я хотел бы, чтобы выбранные фразы в кадре данных с двумя столбцами: doc_id, фраза

Я пытался использовать пакет quanteda для этого, но безуспешно. Ниже приведен код для воспроизведения моей последней попытки. Буду признателен за любые ваши советы ... Я пробовал различные методы, но продолжаю возвращать только совпадения из одного слова. 

version  R version 3.6.2 (2019-12-12)
os       Windows 10 x64              
system   x86_64, mingw32             
ui       RStudio 
Packages:
dbplyr   1.4.2 
quanteda 1.5.2

library(quanteda)
library(dplyr)
raw <- data.frame("doc_id" = c("1", "2", "3"), 
                  "text" = c("diffuse intrinsic pontine glioma are highly aggressive and difficult to treat brain tumors found at the base of the brain.", 
                             "magnetic resonance imaging (mri) is a medical imaging technique used in radiology to form pictures of the anatomy and the physiological processes of the body.", 
                             "radiation therapy or radiotherapy, often abbreviated rt, rtx, or xrt, is a therapy using ionizing radiation, generally as part of cancer treatment to control or kill malignant cells and normally delivered by a linear accelerator."))

term = c("diffuse intrinsic pontine glioma", "brain tumors", "brain", "pontine glioma", "mri", "medical imaging", "radiology", "anatomy", "physiological processes", "radiation therapy", "radiotherapy", "cancer treatment", "malignant cells")
medTerms = list(term = term)
dict <- dictionary(medTerms)

corp <- raw %>% group_by(doc_id) %>% summarise(text = paste(text, collapse=" "))
corp <- corpus(corp, text_field = "text")

dfm <- dfm(corp,
           tolower = TRUE, stem = FALSE, remove_punct = TRUE,
           remove = stopwords("english"))
dfm <- dfm_select(dfm, pattern = phrase(dict))

То, что я в конечном итоге хотел бы получить, это что-то вроде следующее: 

doc_id        term
1       diffuse intrinsice pontine glioma
1       pontine glioma
1       brain tumors
1       brain
2       mri
2       medical imaging
2       radiology
2       anatomy
2       physiological processes
3       radiation therapy
3       radiotherapy
3       cancer treatment
3       malignant cells

Ответы [ 2 ]

2 голосов
/ 19 марта 2020

Вы можете сформировать все нграммы от 1 до 5, а затем выбрать все из. Но для больших текстов это было бы очень неэффективно. Вот более прямой путь. Я воспроизвел всю проблему здесь с помощью нескольких модификаций (например, stringsAsFactors = FALSE и пропуская некоторые ненужные шаги).

Конечно, это не в два раза учитывает термины, как в ожидаемом вами примере, но я утверждаю, что Вы, вероятно, не хотели этого. Зачем считать «мозг», если он произошел внутри «опухоли мозга»? Вы бы лучше считали «опухоль головного мозга», когда она встречается как эта фраза, и «мозг» только тогда, когда это происходит без «опухоли». Приведенный ниже код делает это. 

library(quanteda)
## Package version: 2.0.1

raw <- data.frame(
  "doc_id" = c("1", "2", "3"),
  "text" = c(
    "diffuse intrinsic pontine glioma are highly aggressive and difficult to treat brain tumors found at the base of the brain.",
    "magnetic resonance imaging (mri) is a medical imaging technique used in radiology to form pictures of the anatomy and the physiological processes of the body.",
    "radiation therapy or radiotherapy, often abbreviated rt, rtx, or xrt, is a therapy using ionizing radiation, generally as part of cancer treatment to control or kill malignant cells and normally delivered by a linear accelerator."
  ),
  stringsAsFactors = FALSE
)

dict <- dictionary(list(
  term = c(
    "diffuse intrinsic pontine glioma",
    "brain tumors", "brain", "pontine glioma", "mri", "medical imaging",
    "radiology", "anatomy", "physiological processes", "radiation therapy",
    "radiotherapy", "cancer treatment", "malignant cells"
  )
))

Вот ключ к ответу: сначала используйте словарь, чтобы выбрать токены, затем объединить их, а затем изменить их по одному совпадению словаря для каждого нового «документа». На последнем шаге создается нужный вам фрейм данных. 

toks <- corpus(raw) %>%
  tokens() %>%
  tokens_select(dict) %>% # select just dictionary values
  tokens_compound(dict, concatenator = " ") %>% # turn phrase into single "tokens"
  tokens_segment(pattern = "*") # make one token per "document"

# make into data.frame
data.frame(
  doc_id = docid(toks), term = as.character(toks),
  stringsAsFactors = FALSE
)
##    doc_id                             term
## 1       1 diffuse intrinsic pontine glioma
## 2       1                     brain tumors
## 3       1                            brain
## 4       2                              mri
## 5       2                  medical imaging
## 6       2                        radiology
## 7       2                          anatomy
## 8       2          physiological processes
## 9       3                radiation therapy
## 10      3                     radiotherapy
## 11      3                 cancer treatment
## 12      3                  malignant cells
2 голосов
/ 19 марта 2020

Если вы хотите сопоставить шаблоны из нескольких слов из словаря, вы можете сделать это, построив свой dfm, используя ngrams. 

library(quanteda)
library(dplyr)
library(tidyr)

raw$text <- as.character(raw$text) # you forgot to use stringsAsFactors = FALSE while constructing the data.frame, so I convert your factor to character before continuing
corp <- corpus(raw, text_field = "text")

dfm <- tokens(corp) %>% 
  tokens_ngrams(1:5) %>% # This is the new way of creating ngram dfms. 1:5 means to construct all from unigram to 5-grams
  dfm(tolower = TRUE, 
      stem = FALSE,
      remove_punct = TRUE) %>% # I wouldn't remove stopwords for this matching task
  dfm_select(pattern = dict)

Теперь нам просто нужно преобразовать dfm в data.frame и приведите его в длинный формат: 

convert(dfm, "data.frame") %>% 
  pivot_longer(-document, names_to = "term") %>% 
  filter(value > 0)
#> # A tibble: 13 x 3
#>    document term                             value
#>    <chr>    <chr>                            <dbl>
#>  1 1        brain                                2
#>  2 1        pontine_glioma                       1
#>  3 1        brain_tumors                         1
#>  4 1        diffuse_intrinsic_pontine_glioma     1
#>  5 2        mri                                  1
#>  6 2        radiology                            1
#>  7 2        anatomy                              1
#>  8 2        medical_imaging                      1
#>  9 2        physiological_processes              1
#> 10 3        radiotherapy                         1
#> 11 3        radiation_therapy                    1
#> 12 3        cancer_treatment                     1
#> 13 3        malignant_cells                      1

Вы можете удалить столбец значений, но он может быть интересен позже.

...