Как я могу рассчитать показатель когерентности в склеарнской реализации NMF? - PullRequest
Новая
       75

Как я могу рассчитать показатель когерентности в склеарнской реализации NMF?

0 голосов
/ 13 января 2020

Я пытаюсь создать утилиту, в которой набор данных будет обрабатываться моделью NMF каждые пару дней. Для этого при первом запуске я приведу начальное значение для количества тем. Как я могу рассчитать оценку когерентности для всего этого набора данных? Я планирую использовать этот расчетный показатель, чтобы перестроить модель, чтобы она была более точной. Ниже приведен код, который я использовал. 

from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.decomposition import NMF
import pandas as pd
import clr
#PLOTTING TOOLS 
# import matplotlib.pyplot as PLOTTING
import matplotlib.pyplot as plt

import warnings
warnings.filterwarnings("ignore", category = DeprecationWarning)

dataset = pd.read_json('out.json', lines = True)
documents = dataset['attachment']

no_features = 1000
no_topics = 9
# print ('Old number of topics: ', no_topics)
tfidf_vectorizer = TfidfVectorizer(max_df = 0.95, min_df = 2, max_features = no_features, stop_words = 'english', norm='l2')
tfidf = tfidf_vectorizer.fit_transform(documents)
tfidf_feature_names = tfidf_vectorizer.get_feature_names()

no_topics = tfidf.shape
retrain_value = no_topics[0]
# print('New number of topics :', retrain_value)

nmf = NMF(n_components = retrain_value, random_state = 1, alpha = .1, l1_ratio = .5, init = 'nndsvd').fit(tfidf)

def display_topics(model, feature_names, no_top_words):
    for topic_idx, topic in enumerate(model.components_):
        print ("Topic %d: " % (topic_idx))
        print (" ".join([feature_names[i] for i in topic.argsort()[:-no_top_words -1:-1]]))

no_top_words = 20
display_topics(nmf, tfidf_feature_names, no_top_words)
...