Как найти синоним слова или перефразирования из нескольких слов с помощью набора инструментов gensim - PullRequest
0 голосов
/ 05 мая 2018

Загрузив предварительно обученную модель word2vec с помощью набора инструментов gensim, я хотел бы найти синоним слова в контексте, например «умный человек», например «разумный человек».

1 Ответ

0 голосов
/ 05 мая 2018

Существует метод [most_similar()][1], который сообщает слова ближайших векторов по косинусному сходству в координатах модели заданному слову. Например:

similars = loaded_w2v_model.most_similar('bright')

Однако Word2vec не найдет строго синонимов - просто слова, которые были связаны с контекстом в его учебном корпусе. Они часто похожи на синонимы, но также могут быть похожими в других отношениях - например, используются в одних и тех же тематических областях или могут функционально заменять друг друга. (В этом последнем отношении иногда очень похожие векторы слов относятся к антонимам , потому что такие слова, как «горячий» и «холодный», появляются в одних и тех же местах, ссылаясь на один и тот же аспект чего-либо.)

Обычный word2vec также не имеет дело с многозначностью (что жетон типа «яркий» - это и слово «хорошо освещенный», и слово «умный»). Таким образом, список наиболее похожих слов для «яркого» будет включать смесь его альтернативных значений.

...