Лемматизировать слова с тегами POS с помощью NLTK? - PullRequest
Новая
       8

Лемматизировать слова с тегами POS с помощью NLTK?

16 голосов
/ 19 марта 2011

Я пометил некоторые слова в POS с помощью nltk.pos_tag (), поэтому им присваиваются теги treebank. Я хотел бы лемматизировать эти слова, используя известные POS-теги, но я не уверен, как. Я смотрел на лемматизатор Wordnet, но я не уверен, как преобразовать POS-теги treebank в теги, принятые лемматизатором. Как я могу выполнить это преобразование просто, или есть лемматизатор, который использует теги treebank?

Ответы [ 2 ]

29 голосов
/ 20 марта 2011

Лемматизатор wordnet знает только четыре части речи (ADJ, ADV, NOUN и VERB), и только правила NOUN и VERB делают что-то особенно интересное.Все существительные части речи в тэге древовидного банка начинаются с NN, тэги глагола начинаются с VB, тэги прилагательного начинаются с JJ, а тэги наречий начинаются с RB.Таким образом, преобразование одного набора меток в другой довольно просто, что-то вроде: 

from nltk.corpus import wordnet

morphy_tag = {'NN':wordnet.NOUN,'JJ':wordnet.ADJ,'VB':wordnet.VERB,'RB':wordnet.ADV}[penn_tag[:2]]
3 голосов
/ 03 июля 2018

Как отметил @engineercoding в комментариях к ответу @ rmalouf, тегов в Treebank намного больше, чем в WordNet, подробности см. Здесь .

Следующее отображение охватывает максимально возможное количество баз, оно также явно определяет POS-теги без совпадений в WordNet: 

# Create a map between Treebank and WordNet 
from nltk.corpus import wordnet as wn

# WordNet POS tags are: NOUN = 'n', ADJ = 's', VERB = 'v', ADV = 'r', ADJ_SAT = 'a'
# Descriptions (c) https://web.stanford.edu/~jurafsky/slp3/10.pdf
tag_map = {
        'CC':None, # coordin. conjunction (and, but, or)  
        'CD':wn.NOUN, # cardinal number (one, two)             
        'DT':None, # determiner (a, the)                    
        'EX':wn.ADV, # existential ‘there’ (there)           
        'FW':None, # foreign word (mea culpa)             
        'IN':wn.ADV, # preposition/sub-conj (of, in, by)   
        'JJ':[wn.ADJ, wn.ADJ_SAT], # adjective (yellow)                  
        'JJR':[wn.ADJ, wn.ADJ_SAT], # adj., comparative (bigger)          
        'JJS':[wn.ADJ, wn.ADJ_SAT], # adj., superlative (wildest)           
        'LS':None, # list item marker (1, 2, One)          
        'MD':None, # modal (can, should)                    
        'NN':wn.NOUN, # noun, sing. or mass (llama)          
        'NNS':wn.NOUN, # noun, plural (llamas)                  
        'NNP':wn.NOUN, # proper noun, sing. (IBM)              
        'NNPS':wn.NOUN, # proper noun, plural (Carolinas)
        'PDT':[wn.ADJ, wn.ADJ_SAT], # predeterminer (all, both)            
        'POS':None, # possessive ending (’s )               
        'PRP':None, # personal pronoun (I, you, he)     
        'PRP$':None, # possessive pronoun (your, one’s)    
        'RB':wn.ADV, # adverb (quickly, never)            
        'RBR':wn.ADV, # adverb, comparative (faster)        
        'RBS':wn.ADV, # adverb, superlative (fastest)     
        'RP':[wn.ADJ, wn.ADJ_SAT], # particle (up, off)
        'SYM':None, # symbol (+,%, &)
        'TO':None, # “to” (to)
        'UH':None, # interjection (ah, oops)
        'VB':wn.VERB, # verb base form (eat)
        'VBD':wn.VERB, # verb past tense (ate)
        'VBG':wn.VERB, # verb gerund (eating)
        'VBN':wn.VERB, # verb past participle (eaten)
        'VBP':wn.VERB, # verb non-3sg pres (eat)
        'VBZ':wn.VERB, # verb 3sg pres (eats)
        'WDT':None, # wh-determiner (which, that)
        'WP':None, # wh-pronoun (what, who)
        'WP$':None, # possessive (wh- whose)
        'WRB':None, # wh-adverb (how, where)
        '$':None, #  dollar sign ($)
        '#':None, # pound sign (#)
        '“':None, # left quote (‘ or “)
        '”':None, # right quote (’ or ”)
        '(':None, # left parenthesis ([, (, {, <)
        ')':None, # right parenthesis (], ), }, >)
        ',':None, # comma (,)
        '.':None, # sentence-final punc (. ! ?)
        ':':None # mid-sentence punc (: ; ... – -)
    }
...