Что означает каждый элемент встраивания? - PullRequest
0 голосов
/ 05 февраля 2020

Я работал с лицевыми вложениями, но я думаю, что Word2Ve c является более распространенным примером.

Каждая запись в этой матрице - это число, которое пришло из некоторой программы / алгоритма прогнозирования, но что Они? Они изучили особенности?

1 Ответ

2 голосов
/ 05 февраля 2020

Эти числа являются выученными векторами, каждый из которых представляет измерение, которое наилучшим образом отделяет каждое слово друг от друга, учитывая некоторое ограничивающее число измерений (обычно ~ 200). Таким образом, если одна группа слов имеет тенденцию появляться в одном и том же контексте, то они, вероятно, будут иметь одинаковую оценку в одном или нескольких измерениях.

Например, такие слова, как Север, Юг, Восток, Запад, вероятно, будут очень близки, поскольку они взаимозаменяемы во многих контекстах.

Размеры выбираются алгоритмом для максимизации дисперсии, которую они кодируют, и то, что они имеют в виду, не обязательно является тем, о чем мы можем говорить словами. Но представьте себе сумку с магнитами на холодильник, каждый из которых представляет букву алфавита - если вы проливаете на них свет, чтобы отбрасывать тень, будут некоторые ориентации букв, которые дают более различающую информацию в тенях, чем для других ориентаций ,

Размеры во вложении слов представляют наилучшие «ориентации», которые дают свет наиболее дискриминационным «теням». Иногда эти измерения могут приближаться к вещам, которые мы распознаем как имеющие прямое значение, но очень часто они не примут.

При этом, если вы собираете слова, которые имеют схожие функции, и находите векторы из этих слов в другие слова которые являются конечной точкой неких фиксированных отношений - скажем, Англия, Франция, Германия как один набор слов, состоящий из стран, и Лондон, Париж, Берлин как другой набор слов, состоящий из соответствующих столиц-городов, вы обнаружите, что Относительные векторы между каждой страной и ее столицей часто очень и очень похожи как по направлению, так и по величине.

Это приложение для поиска, потому что вы можете начать с нового местоположения слова, скажем "Аргентина", и, посмотрев полученное местоположение, применив относительный вектор "has_capital_city", вы должны прийти к слову «Буэнос-Айрес».

Таким образом, необработанные измерения, вероятно, имеют мало собственного значения, но выполняя эти А - В, как Х - сопоставления Y, можно получить относительные векторы которые имеют какое-то значение.

...