Является ли Word2Vec сам по себе дискриминационной моделью или генеративной моделью?

Question

Мне интересно, является ли Word2Vec сам по себе дискриминационной или порождающей моделью?

Как CBOW, так и Skip-грамма направлены на максимизацию функции правдоподобия, соответствующей условным вероятностям между токенами и их контекстами.Сосредоточив внимание только на сети и учебном процессе, я полагаю, что он придерживается дискриминационного подхода.

Однако слово «вложение» является своего рода побочным продуктом, который изображает отношения между токенами в учебном корпусе.Рассматривая модель Word2Vec, которая обучается с сегментированным корпусом, принимает токен и выводит его встраивание, мы часто говорим, что «он генерирует вложение слова».Является ли модель Word2Vec дискриминационной или порождающей?

У меня возникли проблемы с формулировкой.

Answer 1

Основное различие между порождающими и дискриминационными моделями заключается в том, что порождающие модели описывают совместное распределение его входов и выходов, тогда как дискриминативные описывают условное распределение выходов при заданных входах.

Таким образом, Word2Vec обучается дискриминационно : в CBOW мы предсказываем слово с учетом его контекста, модель скип-граммы работает наоборот.

Когда вы говорите, чтоон генерирует вложение, это другой смысл «генерировать», это не означает выборку из совместного распределения, а скорее генерацию в целом.

Мое мнение таково, что как только вложения обучаются, он не создаетимеет смысл говорить об этом как о дискриминационной (не порождающей) модели, потому что вы используете только представление, а не распределение вероятностей, которое определяет модель.