В чем разница между кодировками предложений и контекстными встраиваниями слов?

Question

Я видел оба термина, используемые при чтении статей о BERT и ELMo, поэтому мне интересно, есть ли разница между ними.

Answer 1

• A контекстуализированное вложение слова - это вектор, представляющий слово в специальном контексте. Традиционные вложения слов , такие как Word2Ve c и GloVe, генерируют один вектор для каждого слова, тогда как контекстное встраивание слова генерирует вектор для слова в зависимости от контекста. Рассмотрим предложения The duck is swimming и You shall duck when someone shoots at you. При традиционных встраиваниях слово вектор для duck будет одинаковым в обоих предложениях, тогда как в контексте с контекстом оно должно быть другим.
• Хотя вложения слов кодируют слова в векторное представление, возникает также вопрос о том, как представить целое предложение так, чтобы компьютер мог легко работать с ним. Эти кодировки предложений могут включать целое предложение в один вектор, например, doc2ve c, который генерирует вектор для предложения. Но также BERT генерирует представление для всего предложения, знак [CLS].

Короче говоря, конекстуализированное встраивание слова представляет слово в контексте, тогда как кодировка предложения представляет собой целое предложение.