Векторы слов, которые обычно используются, на самом деле из "проекционного слоя" нейронной сети.
Этот проекционный слой, по существу, преобразует отдельные индексы слов (одноразовые представления, одинарные целые числа от 0 до V-1, где V - количество известных уникальных слов) в входные векторы (плотные вложения с N ненулевыми непрерывными размерами, где N намного меньше V).
Эти входные векторы передаются в мелкую нейронную сеть, которая пытается предсказать соседние слова.
Оказывается, что когда вы заставляете эти плотные вложения (и веса внутренних нейронных сетей) становиться все лучше и лучше при прогнозировании своих соседей, векторы слов для связанных слов становятся ближе друг к другу, как общий вопрос о том, как связаны они
И, кроме того, попытка одновременного чередования сделать это для всех слов и обучающих примеров имеет тенденцию также создавать значимые "окрестности" и "направления" в окончательном расположении - допуская интересную "значащую арифметику", которая позволяет часто выполнять операции слово-вектор решить аналогии, как man : king :: woman : __?__.