Как получить вероятность биграммы в тексте предложений? - PullRequest
Новая
       36

Как получить вероятность биграммы в тексте предложений?

0 голосов
/ 02 марта 2019

У меня есть текст, который имеет много предложений.Как я могу использовать nltk.ngrams для его обработки?

Это мой код: 

   sequence = nltk.tokenize.word_tokenize(raw) 
   bigram = ngrams(sequence,2)
   freq_dist = nltk.FreqDist(bigram)
   prob_dist = nltk.MLEProbDist(freq_dist)
   number_of_bigrams = freq_dist.N()

Однако в приведенном выше коде предполагается, что все предложения представляют собой одну последовательность.Но предложения разделены, и я думаю, что последнее слово одного предложения не связано с начальным словом другого предложения.Как я могу создать bigram для такого текста?Мне также нужны prob_dist и number_of_bigrams, основанные на `freq_dist.

Есть похожие вопросы, подобные этому Что такое подсчет ngram и как его реализовать с помощью nltk? , но онив основном о последовательности слов.

1 Ответ

0 голосов
/ 04 марта 2019

Вы можете использовать новый модуль nltk.lm.Вот пример, сначала получите некоторые данные и токенизируйте их: 

import os
import requests
import io #codecs

from nltk import word_tokenize, sent_tokenize 

# Text version of https://kilgarriff.co.uk/Publications/2005-K-lineer.pdf
if os.path.isfile('language-never-random.txt'):
    with io.open('language-never-random.txt', encoding='utf8') as fin:
        text = fin.read()
else:
    url = "https://gist.githubusercontent.com/alvations/53b01e4076573fea47c6057120bb017a/raw/b01ff96a5f76848450e648f35da6497ca9454e4a/language-never-random.txt"
    text = requests.get(url).content.decode('utf8')
    with io.open('language-never-random.txt', 'w', encoding='utf8') as fout:
        fout.write(text)

# Tokenize the text.
tokenized_text = [list(map(str.lower, word_tokenize(sent))) 
              for sent in sent_tokenize(text)]

Затем моделирование языка: 

# Preprocess the tokenized text for 3-grams language modelling
from nltk.lm.preprocessing import padded_everygram_pipeline
from nltk.lm import MLE

n = 3
train_data, padded_sents = padded_everygram_pipeline(n, tokenized_text)

model = MLE(n) # Lets train a 3-grams maximum likelihood estimation model.
model.fit(train_data, padded_sents)

Чтобы получить счет: 

model.counts['language'] # i.e. Count('language')
model.counts[['language']]['is'] # i.e. Count('is'|'language')
model.counts[['language', 'is']]['never'] # i.e. Count('never'|'language is')

Дляполучить вероятности: 

model.score('is', 'language'.split())  # P('is'|'language')
model.score('never', 'language is'.split())  # P('never'|'language is')

При загрузке ноутбука на платформе Kaggle есть некоторые странности, но в какой-то момент этот ноутбук должен дать хороший обзор nltk.lm модуля https://www.kaggle.com/alvations/n-gram-language-model-with-nltk

...