Векторизация не работает вообще, когда я запускаю программу. Какие могут быть мои проблемы? - PullRequest
Новая
       69

Векторизация не работает вообще, когда я запускаю программу. Какие могут быть мои проблемы?

0 голосов
/ 04 мая 2020 
class Document: 
def __init__(self, doc_id):
    # create a new document with its ID
    self.id = doc_id
    # create an empty dictionary 
    # that will hold the term frequency (TF) counts
    self.tfs = {}

def tokenization(self, text):
    # split a title into words, 
    # using space " " as delimiter
    words = text.lower().split(" ")
    for word in words: 
        # for each word in the list
        if word in self.tfs: 
            # if it has been counted in the TF dictionary
            # add 1 to the count
            self.tfs[word] = self.tfs[word] + 1
        else:
            # if it has not been counted, 
            # initialize its TF with 1
            self.tfs[word] = 1


def save_dictionary(diction_data, file_path_name):
    f = open(file_path_name, "w+")

for key in diction_data:
    # Separate the key from the frequency with a space and
    # add a newline to the end of each key value pair
    f.write(key + " " + str(diction_data[key]) + "\n")

f.close()

def vectorize(self, data_path):
Documents = []
for i in range(1, 21):
    file_name = "./textfiles/"+ str(i) + ".txt"
    # create a new document with an ID
doc = Document(i+1)
    #Read the files
with open(file_name, 'r') as f:
    text = f.read()
    # compute the term frequencies
    #read in the files contents
doc.tokenization(text)
    # add the documents to the lists
Documents.append(doc)

save_dictionary(doc.tfs, "tf_" + str(doc.id) + ".txt")

DFS = {}
for doc in Documents:
    for word in doc.tfs:
        DFS[word] = DFS.get(word,0) + 1

    save_dictionary(doc.DFS, "DFS_" + str(doc.id) + ".txt")


vectorize("./")

Я добавил код, с которым я работаю выше. Я ничего не получаю при запуске. Является ли мой код неправильным или код правильный с проблемой INDENTATION. Я очень плохо знаком с python и программирую в целом, поэтому я ожидаю, что проблема с отступами является одной из проблем, но хочу убедиться, что код, который я использую, является правильным. Если вы обнаружите какие-либо проблемы, пожалуйста, укажите мне, и я внесу изменения, чтобы исправить их.

Спасибо за помощь заранее.

...