Генерация n-грамм из строки - PullRequest
Новая
       17

Генерация n-грамм из строки

4 голосов
/ 07 мая 2019

Мне нужно составить список всех grams -грамм, начинающихся с заголовка строки для каждого целого числа ? от 1 до M. Затем вернуть кортеж из M таких списков.

    def letter_n_gram_tuple(s, M):
        s = list(s)
        output = []
    for i in range(0, M+1):

        output.append(s[i:])

    return(tuple(output))

Из letter_n_gram_tuple("abcd", 3) вывод должен быть: 

(['a', 'b', 'c', 'd'], ['ab', 'bc', 'cd'], ['abc', 'bcd']))

Однако мой вывод: 

(['a', 'b', 'c', 'd'], ['b', 'c', 'd'], ['c', 'd'], ['d']).

Должен ли я использовать нарезку строк и затем сохранять фрагментыв список?

Ответы [ 4 ]

2 голосов
/ 07 мая 2019 
def n_grams(word,max_size):
    i=1
    output=[]
    while i<= max_size:
        index = 0
        innerArray=[]
        while index < len(word)-i+1:
            innerArray.append(word[index:index+i])
            index+=1
        i+=1
        output.append(innerArray)
        innerArray=[]
    return tuple(output)
print(n_grams("abcd",3))
2 голосов
/ 07 мая 2019

Вам нужен еще один цикл for для перебора букв или str: 

def letter_n_gram_tuple(s, M):
    output = []
    for i in range(0, M):
        vals = [s[j:j+i+1] for j in range(len(s)) if len(s[j:j+i+1]) == i+1]
        output.append(vals)

    return tuple(output)

print(letter_n_gram_tuple("abcd", 3))

Выход: 

(['a', 'b', 'c', 'd'], ['ab', 'bc', 'cd'], ['abc', 'bcd'])
2 голосов
/ 07 мая 2019

Используйте следующую функцию: 

def letter_n_gram_tuple(s, M):
    s = list(s)
    output = [s]
    for i in range(M + 1):
        output.append([''.join(sorted(set(a + b), key=lambda x: (a + b).index(x))) for a, b in zip(output[-1], output[-1][1:])])
    return tuple(filter(lambda x: len(x) > 1, output))

А теперь: 

print(letter_n_gram_tuple('abcd',3))

Возвращает: 

(['a', 'b', 'c', 'd'], ['ab', 'bc', 'cd'], ['abc', 'bcd'])
2 голосов
/ 07 мая 2019

вы можете использовать для nested, сначала примерно на n-грамм, затем для нарезки строки 

def letter_n_gram_tuple(s, M):
    output = []

    for i in range(1, M + 1):
        gram = []
        for j in range(0, len(s)-i+1):
            gram.append(s[j:j+i])
        output.append(gram)

    return tuple(output)

или только одна строка для понимания списка: 

output = [[s[j:j+i] for j in range(0, len(s)-i+1)] for i in range(1, M + 1)]

или используйте windowed in more_itertools: 

import more_itertools
output = [list(more_itertools.windowed(s, i)) for i in range(1, M + 1)]

тест и вывод: 

print(letter_n_gram_tuple("abcd", 3))
(['a', 'b', 'c', 'd'], ['ab', 'bc', 'cd'], ['abc', 'bcd'])
...