В gensim с предварительно обученной моделью wmdistance работает хорошо, но n_sigenity не

Question

Я вычислил расстояния между двумя предложениями с помощью функции wmdistance () gensim с предварительно обученной моделью

Теперь я хочу подобия между ними и пробовал с функцией n_s Similarity (), но произошла ошибка с ключом

keyerror: слово отсутствует в словаре

Это показывает скриншот с примером ошибки

Кто-нибудь есть идеи по этому поводу, пожалуйста?

Answer 1

Когда вы получаете сообщение об ошибке, что слово отсутствует в словаре, это означает, что слово отсутствует в этой модели.

Любая попытка найти его приведет к выдаче KeyError, чтобы вы знали, Вы пытаетесь получить слово-вектор, которого там нет.

Вам следует отфильтровать списки токенов, прежде чем передавать их на n_similarity(), чтобы они включали только допустимые слова.

Конечно, это означает, что вы не можете получить значимый результат по слову 'selfie'. Это бессмысленная ерунда для модели, как будто вы спросили слово 'asruhfglaiwurfliuawiufsdfsdfs'.