Поиск по ключевым словам по синонимам в информационно-поисковых системах

Question

У меня есть чатбот, чтобы дать правильный ответ для ввода данных пользователем. Прямо сейчас я борюсь за то, как правильно прочитать базу данных / базу знаний или просто файл json, чтобы получить правильный ответ. В моем случае использования у меня есть очень много ключевых слов / сущностей вместе с синонимами. Поэтому было бы неплохо писать синонимы в учебном файле NLU вручную. Мой файл базы данных сначала перечислил ключевое слово, а затем ответы разделяются для каждого намерения, принадлежащего этой сущности. Как вы на практике обрабатываете такой поиск по ключевым словам вместе со слегка отличающимися ключевыми словами / синонимами, данными пользователем?

Я заинтересован в стандартном подходе к этому, и в будущем я хотел бы применить NLP, возможно, как emebedding для моего собственного случая.

Answer 1

GloVe - это предварительно обученная модель для получения семантических векторов слов, которая объединяет глобальную матричную декомпозицию и локальное контекстное окно.Используя хеш-таблицу для элементов словаря, вы можете искать ключевое слово вместе со значениями этого ключевого слова в хеш-таблице.Например, со страницы GloVe вы можете сопоставить запрос как frog , если это одно из следующих слов:

frog
frogs
toad
litoria
leptodactylidae
rana
lizard
eleutherodactylus 

Если вы не хотите, чтобы ваша модель соответствовала такомуслова, которые не входят в словарный запас среднего человека, вы можете тренировать модель GloVe на своем собственном корпусе.