Изменение веса словаря TF-IDF - PullRequest
Новая
       9

Изменение веса словаря TF-IDF

0 голосов
/ 20 июня 2019

Я применил TF-IDF к группе описаний и получил веса слов, однако я хочу повысить вес отдельных слов в 1,5 раза, так как это повысило бы точность конечной модели.

Я использовал следующий код: 

#Fit the tarining data
tfv.fit(list(xtrain))

#increase the weights for certain keywords
for k in imp_words:
    if k in tfv.vocabulary_:
        tfv.vocabulary_[k] = int(tfv.vocabulary_[k] * 1.5)

#Using the new corpus transform the test data
tfv.transform(xvalid)

Всякий раз, когда я следую этому подходу, Jupyter Notebook выключается / перестает работать. Кто-нибудь знает причину этого?

Я пробовал, если есть проблемы с некоторыми типами данных, но все выглядит в том же формате.

...