Представьте, что у вас есть набор семантически связанных слов (например, ресторан, еда, блюдо, официант), а также несколько относительно не связанных слов (например, грустный, злой, iphone).Как бы вы нашли эти «аномальные» слова?
Я использую векторы слов (например, fasttext, glove) для представления этих слов, и один простой способ, который работает до некоторой степени, заключается в сортировке векторов на основе их расстояния от их среднего значения.Но это не идеально ...
Я подумывал об использовании PCA, но не уверен, является ли это хорошим подходом или как именно найти аномальные слова, используя его.
Большое спасибо!