Лучший способ обрабатывать слова OOV при использовании предварительно обученных вложений в PyTorch

Question

Я использую предтренированное вложение Word2vec в PyTorch (следующий код здесь ).Тем не менее, он, кажется, не обрабатывает невидимые слова.Есть ли хороший способ решить это?

Answer 1

FastText создает векторы символов в рамках обучения модели.Когда он находит слово OOV, он суммирует векторы символов в слове, чтобы получить вектор для слова.Вы можете найти более подробную информацию здесь .