Являются ли функции Word2Vec независимыми друг от друга? - PullRequest
0 голосов
/ 17 мая 2018

Я новичок в НЛП и изучаю Word2Vec. Так что я не совсем понимаю концепцию Word2Vec.

Являются ли функции Word2Vec независимыми друг от друга?

Например, предположим, что существует 100-мерное слово 2vec. Тогда 100 функций независимы друг от друга? Другими словами, если «последовательность» функций перетасована, то значение word2vec изменяется?

1 Ответ

0 голосов
/ 17 мая 2018

Word2vec - это «плотное» вложение: отдельные измерения обычно не интерпретируются независимо.Это просто «окрестности» и «направления» (не ограничивающиеся размерами 100 ортогональных осей), которые имеют полезные значения.

Итак, они не «независимы» друг от друга в статистическом смысле.Но вы можете отбросить любое из измерений - например, последние 50 измерений всех ваших 100-мерных векторов - и у вас все еще есть пригодные для использования слова-векторы.Так что в этом смысле они все еще независимо полезны.

Если вы перетасовали порядок размеров одинаково для каждого вектора в вашем наборе, то вы, по сути, просто повернули / отразили все векторы одинаково.Все они будут иметь разные координаты, , но , их относительные расстояния будут одинаковыми, и если "переход к слову В от слова А" используется для неопределенного обозначения некоторого понятного человеку аспекта, такого как "крупность", то дажепосле выполнения перетасовки порядка размеров «переход к слову B от слова A» будет означать то же самое, потому что векторы «в сторону» (в преобразованных координатах) будут такими же, как и раньше.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...