Понимание размера вложения векторов

Question

При глубоком обучении, в частности НЛП, слова преобразуются в векторное представление для передачи в нейронную сеть, такую ​​как RNN.Ссылаясь на ссылку:

http://colah.github.io/posts/2014-07-NLP-RNNs-Representations/#Word%20Embeddings

В разделе Вложения Word сказано, что:

Вложение слова W: words → Rnявляется параметризованной функцией, отображающей слова в некотором языке в многомерные векторы (возможно, от 200 до 500 измерений)

Я не понимаю цели размерности векторов .Что значит иметь вектор 200 измерений по сравнению с вектором 20 измерений ?

Улучшает ли это общую точность модели?Может ли кто-нибудь дать мне простой пример, касающийся выбора размерности векторов.

Answer 1

Эти вложения слов, также называемые распределенными встраиваниями слов, основаны на

вы знаете слово, которое хранит компания

как указано Джон Руперт Ферт

Итак, мы знаем значение слова по контексту. Вы можете думать о каждом скаляре в векторе (слова), представляющего его силу для концепции. Это слайд из Проф. Паван Гоял все объясняет.

Таким образом, вы хотите, чтобы хороший векторный размер охватывал приличное количество концептов, но вы не хотите, чтобы слишком большой вектор был узким местом в обучении моделей, в которых используются эти вложения.

Кроме того, размер вектора в основном фиксирован, так как большинство не обучают своим собственным встраиваниям, а используют открыто доступные вложения, поскольку они много часов обучаются работе с огромными данными. Поэтому их использование заставит нас использовать слои для встраивания с размерами, указанными в открытом доступе, которое вы используете (word2vec, glove и т. Д.)

Распределенные вложения в слова являются важной вехой в области глубокого обучения в НЛП. Они дают лучшую точность по сравнению с вложениями на основе tfidf.