Измерение подобия с использованием векторов в gensim - PullRequest
0 голосов
/ 15 декабря 2018

У меня есть пара слов и семантических типов этих слов.Я пытаюсь вычислить меру родства между этими двумя словами, используя семантические типы, например: word1 = king, type1 = man, word2 = queen, type2 = woman, мы можем использовать gensim word_vectors.most_s аналогичный, чтобы получить «queen» из «king-мужчина + женщина.Тем не менее, я ищу меру сходства между вектором, представленным как «король-мужчина + женщина» и «королева».

Я ищу решение для выше (или) способа вычисления вектора, который является представителем 'Король-мужчина + женщина '(и) вычисляет сходство между двумя векторами, используя векторные значения в gensim (или) способе вычисления простого среднего вектора весов проекции (т.е. король-мужчина + женщина)

1 Ответ

0 голосов
/ 15 декабря 2018

Вам следует взглянуть на исходный код метода gensim most_similar(), который используется для предложения ответов на подобные вопросы аналогии.В частности, когда вы пытаетесь ...

sims = wv_model.most_similar(positive=['king', 'woman'], negative=['man'])

..., максимальный результат (в достаточно обученной модели) часто будет "королевой" или подобным.Таким образом, вы можете посмотреть на исходный код, чтобы увидеть, как именно он вычисляет целевую комбинацию wv('king') - wv('man') + wv('woman'), прежде чем искать все известные векторы для тех ближайших векторов к этой цели.Смотрите ...

https://github.com/RaRe-Technologies/gensim/blob/5f6b28c538d7509138eb090c41917cb59e4709af/gensim/models/keyedvectors.py#L486

... и обратите внимание, что локальная переменная mean является комбинацией предоставленных значений positive и negative.

Там также могут оказаться полезными другие методы, либо непосредственно, либо в качестве моделей для вашего собственного кода, например distances() ...

https://github.com/RaRe-Technologies/gensim/blob/5f6b28c538d7509138eb090c41917cb59e4709af/gensim/models/keyedvectors.py#L934

... или n_similarity() ...

https://github.com/RaRe-Technologies/gensim/blob/5f6b28c538d7509138eb090c41917cb59e4709af/gensim/models/keyedvectors.py#L1005

...