Pos Tag Lemmatize дает только одну строку в выводе - PullRequest
Новая
       60

Pos Tag Lemmatize дает только одну строку в выводе

0 голосов
/ 16 апреля 2019

Используя Pos Tag на токенизации данных, он принимает форму слова pos_tag.При прохождении того же самого для лемматизации лемматизируется только первое значение.

Кадр данных с двумя столбцами - 

ID Text 
1  Lemmatization is an interesting part

После токенизации и удаления стоп-слов - 

ID Tokenize_data
1  'Lemmatization', 'interesting', 'part'



#Lemmatization with postag
#Part of Speech Tagging
df2['tag_words'] = df2.tokenize_data.apply(nltk.pos_tag)
#Treebank to Wordnet
from nltk.corpus import wordnet

def get_wordnet_pos(treebank_tag):

    if treebank_tag.startswith('J'):
        return wordnet.ADJ
    elif treebank_tag.startswith('V'):
        return wordnet.VERB
    elif treebank_tag.startswith('N'):
        return wordnet.NOUN
    elif treebank_tag.startswith('R'):
        return wordnet.ADV
    else:
        return None

from nltk.stem.wordnet import WordNetLemmatizer
lemmatizer = WordNetLemmatizer()

def tagging(text):
#tagged = nltk.pos_tag(tokens)
    for (word, tag) in text:
        wntag = get_wordnet_pos(tag)
        if wntag is None:# not supply tag in case of None
            lemma = lemmatizer.lemmatize(word) 
        else:
            lemma = lemmatizer.lemmatize(word, pos=wntag) 
        return lemma

tag1 = lambda x: tagging(x)
df2['lemma_tag'] = df2.tag_words.apply(tag1)

Выходные данные поступают как - 

ID Lemma_words 
1  'Lemmatize'

Ожидается - 

ID Lemma_words
1  'Lemmatize', 'interest', 'part'

1 Ответ

1 голос
/ 17 апреля 2019

Ниже работает функция -

Мой код не сохранял значения всех кортежей в моем списке тегов pos, поэтому в вывод приходило только одно значение 

def lemmatize_sentence(text):
    #tokenize the sentence and find the POS tag for each token
    nltk_tagged = nltk.pos_tag(nltk.word_tokenize(text))  
    #tuple of (token, wordnet_tag)
    wordnet_tagged = map(lambda x: (x[0], nltk_tag_to_wordnet_tag(x[1])), nltk_tagged)
    lemmatized_sentence = []
    for word, tag in wordnet_tagged:
        if tag is None:
            #if there is no available tag, append the token as is
            lemmatized_sentence.append(word)
        else:        
            #else use the tag to lemmatize the token
            lemmatized_sentence.append(lemmatizer.lemmatize(word, tag))
    return lemmatized_sentence
...