Как окно влияет на точность скип-граммы? - PullRequest
0 голосов
/ 11 марта 2020

Хотелось бы узнать, как размер окна скип-граммной модели влияет на точность предсказания похожих слов при встраивании слов. В каких случаях точность может падать и расти.

Спасибо.

1 Ответ

0 голосов
/ 11 марта 2020

В то время как тренировочный процесс пытается постепенно улучшить относительную активацию модели для центрального целевого слова, после ввода близлежащих слов, точность точного предсказания никогда не оценивается во время обучения, и при этом модель с большей точностью не обязательно «лучше», чем одна. с меньшей точностью.

Обучение, как если бы вы хотели предсказать центральное слово, является просто полезной вещью для создания наборов слов-векторов с полезными относительными расположениями.

Так что для большинства случаев использования word2ve c ваш вопрос не очень актуален. Вы не должны выбирать значение window, которое обеспечивает наилучшую точность для внутреннего задания word2ve c; Вы должны выбрать window, который дает лучшие векторы слов для любого последующего использования, которое вы рассматриваете.

(Если по какой-либо академической причине / причине любопытства вам нужно было знать ответ на свой вопрос, вам нужно провести эксперимент: попробуйте множество значений window, затем попросите модель предсказать слова и сравните точность. Обратите внимание, однако, что многие реализации word2ve c даже не предоставляют API для индивидуального предсказания слов, поскольку это не требуется для обучения или большинства последующих применений.)

...