spacy-udpipe с pytextrank для извлечения ключевых слов из не-английского sh текста - PullRequest
Новая
       37

spacy-udpipe с pytextrank для извлечения ключевых слов из не-английского sh текста

1 голос
/ 20 января 2020

Я использовал pytextrank (https://github.com/DerwenAI/pytextrank/) с spacy и Engli sh для извлечения ключевых слов - это прекрасно работает!

Теперь мне нужно обработать не-Engli sh текстов и я нашел udpipe (https://github.com/TakeLab/spacy-udpipe), но он не работает "из коробки" ... после 

nlp = spacy_udpipe.load("sk")
tr = pytextrank.TextRank()
nlp.add_pipe(tr.PipelineComponent, name="textrank", last=True)
doc = nlp(text)

я получаю токены с POS и DEP-тегами , но в doc._.phrases ничего нет (doc.noun_chunks также пусто), а в nlp.pipe_names есть просто ['textrank']

Что я должен добавить в конвейер пространства, чтобы он заработал? Я предполагаю, что pytextrank нужны noun_chunks ...

Любой совет или предложение, где искать, поможет мне - спасибо!

Ответы [ 2 ]

0 голосов
/ 04 марта 2020

Я нашел решение! Я не уверен, насколько чистым является nlp.Defaults.syntax_iterators = {"noun_chunks" : get_chunks}, но он работает (он основан на том, как noun_chunks определены в syntax_iterators.py и __init__.py в spaCy/lang/en) 

import spacy_udpipe, spacy, pytextrank
from spacy.matcher import Matcher
from spacy.attrs import POS

def get_chunks(doc):
    np_label = doc.vocab.strings.add("NP")
    matcher = Matcher(nlp.vocab)
    pattern = [{POS: 'ADJ', "OP": "+"}, {POS: {"IN": ["NOUN", "PROPN"]}, "OP": "+"}]
    matcher.add("Adjective(s), (p)noun", None, pattern)
    matches = matcher(doc)

    for match_id, start, end in matches:
        yield start, end, np_label

spacy_udpipe.download("sk") # download model
nlp = spacy_udpipe.load("sk")
nlp.Defaults.syntax_iterators = {"noun_chunks" : get_chunks}  #noun_chunk replacement

tr = pytextrank.TextRank(logger=None)
nlp.add_pipe(tr.PipelineComponent, name="textrank", last=True)

text = "Wikipédia je webová encyklopédia s otvoreným obsahom, ktorú možno slobodne čítať aj upravovať. Je sponzorovaná neziskovou organizáciou Wikimedia Foundation. Má 285 nezávislých jazykových vydaní vrátane slovenského a najrozsiahlejšieho anglického. Popri článkoch encyklopedického typu obsahuje, najmä anglická encyklopédia, aj články podobajúce sa almanachu, atlasu či stránky aktuálnych udalostí. Wikipédia je jedným z najpopulárnejších zdrojov informácií na webe s približne 13 miliardami zobrazení mesačne. Jej rast je skoro exponenciálny. Wikipédii (takmer 2 milióny). Wikipédia bola spustená 15. januára 2001 ako doplnok k expertmi písanej Nupedii. So stále rastúcou popularitou sa Wikipédia stala podhubím pre sesterské projekty ako Wikislovník (Wiktionary), Wikiknihy (Wikibooks) a Wikisprávy (Wikinews). Jej články sú upravované dobrovoľníkmi vo wiki štýle, čo znamená, že články môže meniť v podstate hocikto. Wikipediáni presadzujú politiku „nestranný uhol pohľadu“. Podľa nej relevantné názory ľudí sú sumarizované bez ambície určiť objektívnu pravdu. Vzhľadom na to, že Wikipédia presadzuje otvorenú filozofiu, jej najväčším problémom je vandalizmus a nepresnosť. "
doc = nlp(text)

print("Noun chunks:")
for nc in doc.noun_chunks:
    print(nc)

print("\nKeywords:")
for phrase in doc._.phrases:
    print("{:.4f} {:5d}  {}".format(phrase.rank, phrase.count, phrase.text))
    print(phrase.chunks)
0 голосов
/ 15 февраля 2020

Вы не могли бы начать об этом в репозитории PyTextRank? https://github.com/DerwenAI/pytextrank/issues

Также, если вы можете предоставить пример текста для использования (на запрашиваемом языке)

Мы попытаемся отладить эту интеграцию.

Спасибо, что указали на это!

Пако

...