Как написать алфавит биграмм (аа, ab, bc, cd ... zz) частотный анализ счетчик в питоне? - PullRequest
Новая
       26

Как написать алфавит биграмм (аа, ab, bc, cd ... zz) частотный анализ счетчик в питоне?

0 голосов
/ 12 января 2019

Это мой текущий код, который печатает частоту каждого символа во входном файле. 

from collections import defaultdict

counters = defaultdict(int)
with open("input.txt") as content_file:
   content = content_file.read()
   for char in content:
       counters[char] += 1

for letter in counters.keys():
    print letter, (round(counters[letter]*100.00/1234,3))

Я хочу, чтобы он печатал частоту биграмм только алфавитов (aa, ab, ac ..zy, zz), а не пунктуацию. Как это сделать?

Ответы [ 3 ]

0 голосов
/ 13 января 2019

Существует более эффективный способ подсчета биграфов: с Counter. Начните с чтения текста (если он не слишком большой): 

from collections import Counter
with open("input.txt") as content_file:
   content = content_file.read()

Отфильтровать не-буквы: 

letters = list(filter(str.isalpha, content))

Вам, вероятно, следует также преобразовать все буквы в нижний регистр, но это зависит от вас: 

letters = letters.lower()

Создайте молнию из оставшихся букв с собой, смещенную на одну позицию, и подсчитайте большие графы: 

cntr = Counter(zip(letters, letters[1:]))

Нормализуйте словарь: 

total = len(cntr)
{''.join(k): v / total for k,v in cntr.most_common()}
#{'ow': 0.1111111111111111, 'He': 0.05555555555555555...}

Решение можно легко обобщить на триграфы и т. Д., Изменив счетчик: 

cntr = Counter(zip(letters, letters[1:], letters[2:]))
0 голосов
/ 14 января 2019

Если вы используете nltk: 

from nltk import ngrams
list(ngrams('hello', n=2))

[вне]: 

[('h', 'e'), ('e', 'l'), ('l', 'l'), ('l', 'o')]

Для подсчета: 

from collections import Counter
Counter(list(ngrams('hello', n=2)))

Если вы хотите собственное решение Python, взгляните на:

0 голосов
/ 12 января 2019

Вы также можете построить текущий код для обработки пар. Отслеживайте 2 символа вместо 1, добавив еще одну переменную, и используйте проверку, чтобы исключить не алфавиты. 

from collections import defaultdict

counters = defaultdict(int)
paired_counters = defaultdict(int)
with open("input.txt") as content_file:
   content = content_file.read()
   prev = '' #keeps track of last seen character
   for char in content:
       counters[char] += 1
       if prev and (prev+char).isalpha(): #checks for alphabets.
           paired_counters[prev+char] += 1
       prev = char #assign current char to prev variable for next iteration

for letter in counters.keys(): #you can iterate through both keys and value pairs from a dictionary instead using .items in python 3 or .iteritems in python 2.
    print letter, (round(counters[letter]*100.00/1234,3)) 

for pairs,values in paired_counters.iteritems(): #Use .items in python 3. Im guessing this is python2.
    print pairs, values

(отказ от ответственности: у меня нет Python 2 в моей системе. Если есть проблема в коде, дайте мне знать.)

...