Как получить количество фраз в Spacy разговорник - PullRequest
Новая
       4

Как получить количество фраз в Spacy разговорник

0 голосов
/ 24 ноября 2018

Я пытаюсь использовать SpaCy's PhraseMatcher.Я использовал адаптацию примера, приведенного на веб-сайте, как показано ниже. 

color_patterns = [nlp(text) for text in ('red', 'green', 'yellow')]
product_patterns = [nlp(text) for text in ('boots', 'coats', 'bag')]
material_patterns = [nlp(text) for text in ('bat', 'yellow ball')]

matcher = PhraseMatcher(nlp.vocab)
matcher.add('COLOR', None, *color_patterns)
matcher.add('PRODUCT', None, *product_patterns)
matcher.add('MATERIAL', None, *material_patterns)

doc = nlp("yellow ball yellow lines")
matches = matcher(doc)
for match_id, start, end in matches:
    rule_id = nlp.vocab.strings[match_id]  # get the unicode ID, i.e. 'COLOR'
    span = doc[start : end]  # get the matched slice of the doc
    print(rule_id, span.text)

Вывод 

COLOR yellow
MATERIAL ball

Мой вопрос заключается в том, как мне получить такое количество фраз, чтобы мойвывод выглядит как указание на то, что желтый произошел дважды, а мяч - только один раз. 

COLOR Yellow (2)
MATERIAL ball (1)

1 Ответ

0 голосов
/ 25 ноября 2018

Как то так? 

from collections import Counter
from spacy.matcher import PhraseMatcher
color_patterns = [nlp(text) for text in ('red', 'green', 'yellow')]
product_patterns = [nlp(text) for text in ('boots', 'coats', 'bag')]
material_patterns = [nlp(text) for text in ('bat', 'yellow ball')]

matcher = PhraseMatcher(nlp.vocab)
matcher.add('COLOR', None, *color_patterns)
matcher.add('PRODUCT', None, *product_patterns)
matcher.add('MATERIAL', None, *material_patterns)
d = []
doc = nlp("yellow ball yellow lines")
matches = matcher(doc)
for match_id, start, end in matches:
    rule_id = nlp.vocab.strings[match_id]  # get the unicode ID, i.e. 'COLOR'
    span = doc[start : end]  # get the matched slice of the doc
    d.append((rule_id, span.text))
print("\n".join(f'{i[0]} {i[1]} ({j})' for i,j in Counter(d).items()))

Вывод: 

COLOR yellow (2)
MATERIAL yellow ball (1)
...