Визуализируйте оценки сходства косинусов, рассчитанные с использованием встраивания предварительно подготовленных слов в SpaCy

Question

Я использовал предварительно обученную модель SpaCy 'en_core_web_lg', чтобы найти косинусное расстояние между группой значений и атрибутов. Я хотел визуализировать отношение того, насколько близко слово к другому слову, очень похоже на кластеризацию.

Вот ссылка на таблицу, которая содержит оценки сходства для каждого значения против атрибута

Здесь столбцы - это атрибуты, для которых я пытаюсь найти показатель сходства, а в строке - значения, для которых я пытаюсь найти, какой атрибут наиболее вероятно будет классифицирован

Это выход, который я пытаюсь достичь. Пожалуйста, взгляните на это

Answer 1

Если вам нужен сюжет, похожий на этот: вам нужно уменьшить размерность ваших векторов слов до 2 измерений .

Итак, выдолжны применять к требуемым векторам слов алгоритм уменьшения размерности, такой как t-SNE (который также реализован в scikit-learn).

Для подобия оценки не достаточно; вам нужны целые векторы .

Здесь , есть хорошее руководство Kaggle по t-SNE для визуализации векторов слов. Вы можете настроить его, выбирая только те слова, которые вас интересуют.