Позиционное встраивание в модель трансформера - меняет ли оно значение слова?

Question

Я читаю статью Transformer, и позиционные вложения заставляют меня задуматься:

Предположим, что слово «кошка» предварительно обучено для встраивания в слово вектор [2,3,1,4]. Если мы используем позиционное кодирование, которое превращает вектор в новый, например [3,1,5,2], не должно ли оно также изменить значение слова в матрице word2ve c? Поскольку корпус большой, небольшое изменение значения также может изменить его значение.

Answer 1

word2ve c и Transformer обрабатывают токены совершенно по-разному.

word2ve c не зависит от контекста, что означает, что bank всегда является некоторым фиксированным вектором из матрицы word2ve c, другими словами, вектор bank не зависит от позиции токена в предложении.

С другой стороны, Transformer в качестве входных данных получает вложения токенов и позиционные вложения, чтобы добавить чувство положения к жетоны. В противном случае он относится к тексту как к мешку слов, а не как к последовательности.