Пустой график когерентности - Значение когерентности нан - PullRequest
0 голосов
/ 23 апреля 2019

Спасибо, что заглянули. Я пытался получить некоторую помощь с этим графиком, который отображается пустым. Я следую этому уроку № 17 https://www.machinelearningplus.com/nlp/topic-modeling-gensim-python/, чтобы построить график баллов когерентности для различного количества тем с помощью LDAMallet. Вот мой код:

os.environ['MALLET_HOME'] = 'C:\\mallet\\mallet-2.0.8'

mallet_path = 'C:\\mallet\\mallet-2.0.8\\bin\\mallet'
dictionary = gensim.corpora.Dictionary(processed_docs[:])
bow_corpus = [dictionary.doc2bow(doc) for doc in processed_docs]



def compute_coherence_values(dictionary, bow_corpus, documents, limit, start=2, step=3):
    """
    Compute c_v coherence for various number of topics

    Parameters:
    ----------
    dictionary : Premium Billing data 
    corpus : Gensim bow_corpus
    texts : document
    limit : Max num of topics

    Returns:
    -------
    model_list : List of LDA topic models
    coherence_values : Coherence values corresponding to the LDA model with respective number of topics
    """
    coherence_values = []
    model_list = []
    for num_topics in range(start, limit, step):
        model = gensim.models.wrappers.LdaMallet(mallet_path, corpus=bow_corpus, num_topics=num_topics, id2word=dictionary)
        model_list.append(model)
        coherencemodel = CoherenceModel(model=model, texts=documents, dictionary=dictionary, coherence='c_v')
        coherence_values.append(coherencemodel.get_coherence())

    return model_list, coherence_values
    
# Can take a long time to run.
model_list, coherence_values = compute_coherence_values(dictionary=dictionary, bow_corpus=bow_corpus,
                                                        documents=documents, start=2, limit=40, step=6)
                                                        
# Show graph
limit=40; start=2; step=6;
x = range(start, limit, step)
plt.plot(x, coherence_values)
plt.xlabel("Num Topics")
plt.ylabel("Coherence score")
plt.legend(("coherence_values"), loc='best')
plt.show()

it's drawing a blank and so am I

# Print the coherence scores
for m, cv in zip(x, coherence_values):
    print("Num Topics =", m, " has Coherence Value of", round(cv, 4))

nan like the bread

Данные:

dictionary

bow_corpus

print stuff

Как бы я хотел, чтобы это выглядело:

the dream

Пожалуйста, помогите

1 Ответ

1 голос
/ 08 июля 2019

У меня такая же проблема. Некоторые люди говорят, что это ошибка последних версий Gensim. Я взял кто-то совет и понизил рейтинг, но у меня все та же проблема. Я думаю, вы хотите найти оптимальное количество кластеров. Я предлагаю посмотреть на pyLDAvis.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...