Морфологический анализ слов с MRJob и Pymorphy2 - PullRequest
Новая
       41

Морфологический анализ слов с MRJob и Pymorphy2

0 голосов
/ 27 января 2019

Может кто-нибудь помочь с MRJob и Pymorphy2?Я новичок в Python и Hadoop.Я вроде понял, как выполнить токенизацию текста, но не могу понять, как морфологически разбирать получившиеся токены с помощью Pymorphy2.Может быть, я делаю что-то явно не так, но я не понимаю.Это мой код: 

from mrjob.job import MRJob
import re, pymorphy2
morph = pymorphy2.MorphAnalyzer()
WORD_RE = re.compile(r"[\w']+")

     class MRMorphWord(MRJob):

        def mapper(self, _, line): 
            for word in WORD_RE.findall(line):            
                yield (word.lower(), 1)

        def reducer(self, _, word):
            for i in word:
                p = morph.parse(word)[0] 
                yield p                  

    if __name__ == '__main__':
        MRMorphWord.run()

Вот сообщение об ошибке: 

parse
    word_lower = word.lower()
AttributeError: 'generator' object has no attribute 'lower'
...