Как я могу получить вектор из выходной матрицы в FastText?

Question

В этом исследовании автор обнаружил, что Word2Vec генерирует два вида вложений (IN & OUT).

https://arxiv.org/abs/1602.01137

Что ж, вы можете легко получить это, используя атрибут syn1в генсиме word2vec.Но в случае gensim fastText, syn1 действительно существует, но так как концепция fastText основана на подслове, невозможно получить вектор для слова из выходной матрицы путем сопоставления индексов.Знаете ли вы какой-нибудь другой способ вычисления вектора с использованием выходной матрицы ??

Answer 1

В FastText вектор для слова представляет собой комбинацию:

• вектора полного слова, если он существует;и
• все векторы подслов

Вы можете просмотреть метод gensim, который при необходимости возвращает вектор, составленный из подслов, по адресу:

https://github.com/RaRe-Technologies/gensim/blob/2ccc82bf50bcfbee44932c160db076a873cf893e/gensim/models/keyedvectors.py#L1970

(Я думаю, что этот метод может иметь ошибку, по сравнению с оригинальным подходом FastText, в том, что этот метод gensim, возможно, должен также добавлять векторы подслов к целому вектору-слову, даже когдаимеется целое слово-вектор.)