Как ускорить «POS-тег» с StanfordPOSTagger? - PullRequest
Новая
       69

Как ускорить «POS-тег» с StanfordPOSTagger?

0 голосов
/ 05 июня 2018

Я хотел взять ни одной фразы из твитов, код следующий.Проблема в том, что он обрабатывает только 300 твитов за раз и тратит 5 минут, как ускорить?

Кстати, какой-то код отредактирован согласно текстовому блобу.

Я использую набор данных gate-EN-twitter (https://gate.ac.uk/wiki/twitter-postagger.html) и интерфейс NLTK для тега Stanford POS для маркировки твитов 

from nltk.tag import StanfordPOSTagger
from nltk.tokenize import word_tokenize
import time,nltk
start_time = time.time()

CFG = {
        ('NNP', 'NNP'): 'NNP',
        ('NN', 'NN'): 'NNI',
        ('NNI', 'NN'): 'NNI',
        ('JJ', 'JJ'): 'JJ',
        ('JJ', 'NN'): 'NNI',
        }

st = StanfordPOSTagger('/models/gate-EN-twitter.model','/twitie_tagger/twitie_tag.jar', encoding='utf-8')


def _normalize_tags(chunk):
    '''Normalize the corpus tags.
    ("NN", "NN-PL", "NNS") -> "NN"
    '''
    ret = []
    for word, tag in chunk:
        if tag == 'NP-TL' or tag == 'NP':
            ret.append((word, 'NNP'))
            continue
        if tag.endswith('-TL'):
            ret.append((word, tag[:-3]))
            continue
        if tag.endswith('S'):
            ret.append((word, tag[:-1]))
            continue
        ret.append((word, tag))
    return ret



def noun_phrase_count(text):
    matches1=[]
    print('len(text)',len(text))
    for i in range(len(text)//1000):
        tokenized_text = word_tokenize(text[i*1000:i*10000+1000])
        classified_text = st.tag(tokenized_text)
        tags = _normalize_tags(classified_text)


        merge = True
        while merge:
            merge = False
            for x in range(0, len(tags) - 1):
                t1 = tags[x]
                t2 = tags[x + 1]
                key = t1[1], t2[1]
                value = CFG.get(key, '')
                if value:
                    merge = True
                    tags.pop(x)
                    tags.pop(x)
                    match = '%s %s' % (t1[0], t2[0])
                    pos = value
                    tags.insert(x, (match, pos))
                    break

        matches = [t[0] for t in tags if t[1] in ['NNP', 'NNI']] 
        matches1+=matches   
        print("--- %s seconds ---" % (time.time() - start_time))
    fdist = nltk.FreqDist(matches1)
    return [(tag,num) for (tag, num) in fdist.most_common()]

noun_phrase_count(tweets)

1 Ответ

0 голосов
/ 05 июня 2018

Похоже, дубликат Stanford POS tagger с моделью GATE twitter медленный , поэтому вы можете найти больше информации там.

Дополнительно;если есть шанс наткнуться на идентичные входы (твиты) дважды (или более), вы можете рассмотреть словарь с твитом (plain str) в качестве ключа и помеченным как значение, так что когда вы встречаете твит, вы сначала проверяете,это уже в твоем распоряжении.Если нет, пометьте его и поместите его туда (и если этот маршрут является жизнеспособным, почему бы не перехватить / открепить этот словарь, чтобы отладка / последующие прогоны вашего кода также проходили быстрее).

...