Это крайний случай, и он не должен происходить в обычном корпусе.
В модели CBOW инициализация весов и процесс обучения определяют конечный результат, а процесс обучения - в зависимости от контекста цели. .
Предполагая, что BOY
и HAND-WRITING
используют одинаковые начальные веса и их контекст в 3-gram
полностью равен, вы можете рассматривать их как одну и ту же цель.
Если ониЕсли у вас разные начальные веса, то после обучения вы получите два одинаковых представления слов, которые говорят, что они являются синонимами. Это то, что хочет CBOW: слова, имеющие одинаковый контекст, будут иметь сходную семантику.