Можем ли мы использовать более одного целевого слова для метода CBOW?

Question

Скажем, у нас есть два целевых слова для одного и того же контекста:

1. he is a VERY GOOD BOY.
2. This is a VERY GOOD HAND-WRITING.

Здесь VERY AND GOODконтексты, в то время как BOY и HAND-WRITING - две цели.

Кто-нибудь может объяснить, как это сделать?

Answer 1

Это крайний случай, и он не должен происходить в обычном корпусе.

В модели CBOW инициализация весов и процесс обучения определяют конечный результат, а процесс обучения - в зависимости от контекста цели. .

Предполагая, что BOY и HAND-WRITING используют одинаковые начальные веса и их контекст в 3-gram полностью равен, вы можете рассматривать их как одну и ту же цель.

Если ониЕсли у вас разные начальные веса, то после обучения вы получите два одинаковых представления слов, которые говорят, что они являются синонимами. Это то, что хочет CBOW: слова, имеющие одинаковый контекст, будут иметь сходную семантику.