Я использовал ту же формулу для вычисления показателя недоумения для модели на BOW ранее.Однако оценка не может быть вычислена, если для моей модели tf-idf используется тот же код. Темы появляются, но не оценка за недоумение.
# Show topics
topic_num = 5
word_num = 5
Lda = gensim.models.ldamodel.LdaModel
ldamodel_tfidf = Lda(corpus_tfidf, num_topics = topic_num, id2word = dictionary,
passes=20, random_state=1)
pprint(ldamodel_tfidf.print_topics(num_topics=topic_num, num_words=word_num))
# print perplexity score
print('Perplexity: ', ldamodel_tfidf.log_perplexity(corpus_tfidf)
SyntaxError: unexpected EOF while parsing