Разница между контекстно-зависимыми тензорами и векторами слов

Question

В настоящее время я работаю в python со spacy, и есть различные предварительно обученные модели, такие как en_core_web_sm или en_core_web_md. Один из них использует векторы слов, чтобы найти сходство слов, а другой использует контекстно-зависимые тензоры. В чем разница между использованием контекстно-зависимых тензоров и использованием векторов слов? А что такое контекстно-чувствительные тензоры?

Answer 1

Векторы слов хранятся в большой таблице в модели, и когда вы смотрите вверх cat, вы всегда получаете один и тот же вектор из этой таблицы.

Контекстно-зависимые тензоры представляют собой плотные векторы объектов, вычисленные с помощьюмодели в конвейере при анализе текста. Вы получите разные векторы для cat в разных текстах. Если вы используете en_core_web_sm, токен cat в I have a cat не будет иметь тот же вектор, что и в The cat is black. Наличие контекстно-зависимых тензоров, когда модель не включает векторы слов, позволяет функциям подобия работать до некоторой степени, но результаты сильно отличаются от векторов слов.

В большинстве случаев вы, вероятно, захотитеиспользуйте модель _md или _lg с векторами слов.