Лучшая модель для определения / открытия темы

Question

Какова лучшая модель для определения темы в коротких неструктурированных документах, напр.СМС или твиттер сообщения?Латентное выделение Дирихле?

Answer 1

LDA - одна из самых сильных моделей, доступных для тематического моделирования, но ее применение к очень коротким текстам, таким как сообщения в Твиттере / микроблогах, может потребовать дополнительной работы.Авторы этой статьи обсуждают LDA и альтернативную модель и рекомендуют агрегировать несколько сообщений перед запуском тематической модели.

[Осторожно с терминологией: «определение темы» на самом деле является старымсиноним для контролируемой классификации документов.]

Answer 2

Применение тематических моделей, таких как LDA, для коротких текстов (например, твитов) является более сложной задачей из-за редкости данных и ограниченного контекста в таких текстах.Один из подходов заключается в объединении коротких текстов в длинные псевдодокументы перед обучением LDA.Другой простой подход заключается в предположении, что в документе имеется только одна тема.

Модель одна тема на документ Модель Dirichlet Multinomial Mixture (DMM) (смесь униграмм) лучше, чем модель темы LDA для моделирования тем в коротких текстах или твитах.Вы можете найти реализации моделей LDA и DMM в пакетах jLDADMM .jLDADMM также предоставляет оценку кластеризации документов для сравнения этих тематических моделей.

Answer 3

Я думаю, что все зависит от данных.Таким образом, вы должны также попробовать чистый TFIDF, LSI, LDA, kmeans, иерархическую кластеризацию, чтобы обнаружить полезные фразы, темы.