Может ли кто-нибудь помочь мне рассчитать предпоследовательность модели LDA. Я реализовал модель LDA в python с использованием библиотек gensim и sklearn.
В других публикациях я читал, что и у метрик недоумения sklearn, и у log_perplexity у gensim есть некоторая ошибка, поскольку значение недоумения не сходится. gensim_error sklearn_error
Я нашел сообщение , в котором они указывают, что log_perplexity у gensim - это предел недоумения, указанный этими авторами . Исходя из этого, я подумал, что значение недоумения можно найти при выполнении операции exp (-1 * log_perplexity), но график, который я получаю, не имеет монотонно уменьшающейся формы, которая, как ожидается, будет иметь недоумение при увеличении количества тем.
У меня вопрос: есть ли в python какая-либо реализация, где вы можете вычислить недоумение тематической модели, а недоумение обеспечивает уменьшающуюся монотонную c форму, которая ожидается при увеличении количества тем? Кто-то может объяснить мне, как вычислить недоумение в модели topi c, чтобы самому реализовать ее.
Спасибо