Проблема кодирования при выполнении кода суммирования текста - PullRequest
Новая
       49

Проблема кодирования при выполнении кода суммирования текста

2 голосов
/ 16 марта 2020

Добрый день

Я тестировал функциональность кода обобщения текста, опубликованного на сайте: https://towardsdatascience.com/understand-text-summarization-and-create-your-own-summarizer-in-python-b26a9f09fc70.

Проблема в том, что когда я звоню функция для текстового файла, код 'cp949' c не может декодировать байт 0xe2 в позиции 205: появляется недопустимая многобайтовая последовательность . Из других постов я знаю, что это ошибка, связанная с типом кодировки файла. Поэтому я изменил тип кодировки файла test2.txt на UTF-8 (сохранив файл в формате обычного текста, затем выбрав UTF-8 в разделе «Кодировка текста»> «Другая кодировка»), но все равно получаю это сообщение об ошибке.

Вот код, который я написал: 

Import libraries
from nltk.corpus import stopwords
from nltk.cluster.util import cosine_distance
import numpy as np
import networkx as nx

test_text_word = "test2.txt"

def read_article(test_text_word):
file = open(test_text_word, "r")
filedata = file.readlines()
article = filedata[0].split(". ")
sentences = []`

for sentence in article:
    print(sentence)
    sentences.append(sentence.replace("[^a-zA-Z]", " ").split(" "))
sentences.pop() 

return sentences

def sentence_similarity(sent1, sent2, stopwords=None):
if stopwords is None:
    stopwords = []

sent1 = [w.lower() for w in sent1]
sent2 = [w.lower() for w in sent2]

all_words = list(set(sent1 + sent2))

vector1 = [0] * len(all_words)
vector2 = [0] * len(all_words)

# build the vector for the first sentence
for w in sent1:
    if w in stopwords:
        continue
    vector1[all_words.index(w)] += 1

# build the vector for the second sentence
for w in sent2:
    if w in stopwords:
        continue
    vector2[all_words.index(w)] += 1

return 1 - cosine_distance(vector1, vector2)

def build_similarity_matrix(sentences, stop_words):
# Create an empty similarity matrix
similarity_matrix = np.zeros((len(sentences), len(sentences)))

for idx1 in range(len(sentences)):
    for idx2 in range(len(sentences)):
        if idx1 == idx2: #ignore if both are same sentences
            continue 
        similarity_matrix[idx1][idx2] = sentence_similarity(sentences[idx1], sentences[idx2], stop_words)

return similarity_matrix


def generate_summary(test_text_word, top_n=5):
stop_words = stopwords.words('english')
summarize_text = []

# Step 1 - Read text anc split it
sentences =  read_article(test_text_word)

# Step 2 - Generate Similary Martix across sentences
sentence_similarity_martix = build_similarity_matrix(sentences, stop_words)

# Step 3 - Rank sentences in similarity martix
sentence_similarity_graph = nx.from_numpy_array(sentence_similarity_martix)
scores = nx.pagerank(sentence_similarity_graph)

# Step 4 - Sort the rank and pick top sentences
ranked_sentence = sorted(((scores[i],s) for i,s in enumerate(sentences)), reverse=True)    
print("Indexes of top ranked_sentence order are ", ranked_sentence)    

for i in range(top_n):
  summarize_text.append(" ".join(ranked_sentence[i][1]))

# Step 5 - Offcourse, output the summarize texr
print("Summarize Text: \n", ". ".join(summarize_text))

Проблема в том, что, когда я запускаю код, с помощью следующей команды: 

generate_summary("test2.txt", 2)

Я получаю это сообщение об ошибке : код 'cp949' c не может декодировать байт 0xe2 в позиции 205: недопустимая многобайтовая последовательность

Должен ли я что-то изменить в коде? Спасибо за вашу поддержку.

...