получить следующее слово из биграмной модели по максимальной вероятности - PullRequest
Новая
       53

получить следующее слово из биграмной модели по максимальной вероятности

0 голосов
/ 21 сентября 2018

Я хочу генерировать сонеты, используя nltk с биграммами.Я сгенерировал биграммы и вычислил вероятность каждой биграммы и сохранил их по умолчанию. 

[('"Let', defaultdict(<function <lambda>.<locals>.<lambda> at0x1a17f98bf8>, 
{'the': 0.2857142857142857, 'dainty': 
0.14285714285714285, 'it': 0.14285714285714285, 'those': 
0.14285714285714285, 'me': 0.14285714285714285, 'us': 
0.14285714285714285}))]

вероятность того, что каждое слово появится после let.Например, у меня есть модель биграммы для моего корпуса.Теперь я хочу создать сонет из 4 строк с 15 словами в каждой строке.Я пробовал этот код, но он не работает. 

def generate_sonnet(word):
lines = 4
words= 15
for i in range(lines):
    line = ()
    for j in range(words):
   #I am selecting max probability but not that word. How I can select that word which has max probability of occurring with word?
        nword = float(max(model[word].values()))
        word += nword

word = random.choice(poetrylist)
generate_sonnet(word)

Я выбираю случайное слово и передаю его в свою функцию.где я хочу объединить 15 слов, используя биграммы, и когда завершится 1 строка, должны быть сделаны следующие 3.

Помощь будет оценена

1 Ответ

0 голосов
/ 21 сентября 2018

Вот простой фрагмент кода, чтобы показать, как можно решить эту задачу (с очень наивным подходом) 

bigram1 = {'Let' : {'the': 0.2857142857142857, 'dainty':
0.14285714285714285, 'it': 0.14285714285714285, 'those':
0.14285714285714285, 'me': 0.14285714285714285, 'us':
0.14285714285714285}}

bigram2 = {'the' : {'dogs' : 0.4, 'it' : 0.2, 'a' : 0.2, 'b': 0.2}}
bigram3 = {'dogs' : {'out' : 0.6, 'it' : 0.2, 'jj' : 0.2}}

model = {}
model.update(bigram1)
model.update(bigram2)
model.update(bigram3)

sentence = []

iterations = 3
word = 'Let'
sentence.append(word)

for _ in range(iterations):
    max_value = 0
    for k, v in model[word].iteritems():
        if v >= max_value:
            word = k
            max_value = v
    sentence.append(word)


print(" ".join(sentence))

output 

Let the dogs out

код написан в оченьпростой способ, и это игрушечный пример для понимания предлагает

имейте в виду, слово, взятое в первом слове, встречающемся с максимальным значением, таким образом, эта модель является детерминированной, рассмотрите возможность добавления случайного подхода выбора из набораслов, которые имеют одно и то же максимальное значение

Я предлагаю сделать выборку слов пропорционально их вероятностям, как, например, так: 

dist = {'the': 0.2857142857142857, 'dainty':
0.14285714285714285, 'it': 0.14285714285714285, 'those':
0.14285714285714285, 'me': 0.14285714285714285, 'us':
0.14285714285714285}

words = dist.keys()
probabilities = dist.values()
numpy.random.choice(words, p=probabilities)

это даст вам "случайное" слово каждый раз согласнок распределению, указанному

smt, вот так ( draft ) 

for _ in range(iterations):
    word = np.random.choice(model[word].keys(), p=model[word].values())
...