В чем основная разница между перчаткой и word2vec? - PullRequest
2 голосов
/ 10 мая 2019

В чем разница между word2vec и glove?Являются ли оба способа обучить встраиванию слова?если да, то как мы можем использовать оба?

1 Ответ

2 голосов
/ 10 мая 2019

Да, они оба способа обучить встраиванию слов.Они оба обеспечивают один и тот же основной вывод: вектор на слово, с векторами в полезном расположении - с относительными расстояниями / направлениями, которые примерно соответствуют нашим представлениям об общей взаимосвязанности слов и даже связанности по определенным семантическим измерениям.

Word2Vec выполняет пошаговое, «разреженное» обучение нейронной сети, многократно повторяя учебный корпус.

GloVe работает над подбором векторов для моделирования гигантской матрицы совпадений слов, построенной из корпуса.

Работая из одного корпуса, создавая векторы слов одинаковой размерности и уделяя одинаковое внимание мета-оптимизации, качество их результирующих векторов слов будет примерно одинаковым.(Когда я видел, как кто-то уверенно заявляет, что одно или другое определенно лучше, они часто сравнивали некоторые из откорректированных / наилучших вариантов использования одного алгоритма с некоторыми грубыми / произвольными значениями по умолчанию другого.)

Я больше знаком с Word2Vec, и у меня сложилось впечатление, что обучение Word2Vec лучше масштабируется на большие словари и имеет более настраиваемые параметры, которые, если у вас есть время, могут позволить вам настраивать ваши собственные обученные векторы слов в большей степени для вашего конкретного приложения.

Вы, вероятно, не использовали бы оба, если бы не сравнивали их друг с другом, потому что они играют одинаковую роль для любых последующих применений слов-векторов.

...