Слово предложение Python - PullRequest
Новая
       22

Слово предложение Python

0 голосов
/ 18 февраля 2019

Мне нужна помощь в кодировании системы предложения слов с использованием Python.По заданному вводу случайных последовательностей символов я хочу иметь возможность поиска по списку слов и дать некоторые рекомендации слов.

Я обнаружил, что шкафы - это система исправления орфографии (https://norvig.com/spell-correct.html) при анализе функции "edits1" она дает некоторые результаты, однако это основано на одном редактировании (например, включая один 'a«к входной строке).

То, чего я хочу добиться, это использовать более одной буквы, то есть гласные или согласные. Например, при наличии букв« prt »при поиске в словаре следует рекомендовать« part »и« Отделить »и т. д.

Filler.py - https://norvig.com/spell-correct.html

            import re
            from collections import Counter

            def words(text): return re.findall(r'\w+', text.lower())

            WORDS = Counter(words(open('E:\\new\\words.txt').read())) #wordlist containing numerious word e.g. 'prut', 'prot', 'port', 'part', 'prat', 'pert', 'pret', 'apart'.

            def candidates(word): 
                "Generate possible spelling corrections for word."
                return (known([word]) or known(edits1(word)) or known(edits2(word)) or [word])

            def known(words): 
                "The subset of `words` that appear in the dictionary of WORDS."
                return set(w for w in words if w in WORDS)

            def edits1(word): 
                "All edits that are one edit away from `word`."
                letters    = 'aeiouxyz'
                splits     = [(word[:i], word[i:])    for i in range(len(word) + 2)]
                inserts    = [L + c + R               for L, R in splits for c in letters]
                return set(inserts)

            def edits2(word): 
                "All edits that are two edits away from `word`."
                return (e2 for e1 in edits1(word) for e2 in edits1(e1))

InputString.py 

            import filler

            h = ['prt']
            for x in h:
                input = filler.candidates(h[0])
                print(input)

1 Ответ

0 голосов
/ 18 февраля 2019

Ну, я изменил твой код.Класс Suggestor получает два параметра: max_times и letters, так что вы можете изменять их в любое время и по своему усмотрению. 

import re

from collections import Counter

def words(text): return re.findall(r'\w+', text.lower())

WORDS = Counter(words(open('big.txt').read()))

class Suggestor:
    def __init__(self,max_times,letters):
        self.max_times = max_times
        self.letters = letters

    def candidates(self,word):
        return self.known(self.edited_word(word))

    def known(self,words):
        return set(w for w in words if w in WORDS)

    def edit(self,word):
        letters = self.letters
        splits = [(word[:i], word[i:]) for i in range(len(word) + 2)]
        inserts = [L + c + R for L, R in splits for c in letters]
        return list(set(inserts))

    def edited_word(self,raw_word):
        words = [[raw_word]]
        for i in range(self.max_times):
            i_times_words = []
            for word in words[-1]:
                i_times_words += self.edit(word)
            words.append(list(set(i_times_words)))
        return [w for word in words for w in word]

if __name__ == '__main__':
    word = 'prt'
    suggestor = Suggestor(max_times=4,letters='aeiouxyz')
    print(suggestor.candidates(word))

И результат вышеприведенного теста:1007 *

{'partie', 'parity', 'purity', 'part', 'port', 'proto', 'porto', 'party', 'apart', 'parait', 'export ',' opera ',' expert ',' pirate '}

Более того, я предлагаю проверить вероятности всех слов, и вы можете отфильтровать некоторые из них с помощью теоремы Байеса.

...