Как лучше всего определить ключевые слова сообщения в потоке сообщений, чтобы можно было искать «похожие»?На примере новостных агрегаторов, где сообщения объединяются в сюжеты.Предпочтительно на Python.
Теперь я использую библиотеки spaCy и Textacy для поиска по ключевым словам.Затем я ищу пересечения и сортирую их в порядке возрастания общего веса соответствующих ключевых слов.Но этот метод очень плохо группирует сообщения.
key_terms = textacy.keyterms.key_terms_from_semantic_network(
doc,
normalize=normalize,
window_width=15,
n_keyterms=30
)