Как я могу оценить внедоменный вопрос в боте Q & A для конкретного домена, если у меня есть только доменные данные? - PullRequest
0 голосов
/ 12 июня 2019

Я узнал, что некоторые популярные боты, такие как RASA или LUIS, будут иметь «оценки достоверности» для оценки вопросов вне домена, но ни один из них не предоставляет документацию о том, как они рассчитывают эти оценки. Кроме того, поиск информации имеет несколько подходов для вычисления сходства, но я не знаю, какие подходы он будет использовать для классификации вне домена. Может ли кто-нибудь подсказать мне, над какими бумагами, инструкциями или кодами я могу работать?

1 Ответ

0 голосов
/ 18 июня 2019

Обычно я создаю намерение out_of_scope и добавляю примеры сообщений, которые выходят за рамки этого намерения. Если сообщение теперь выходит за рамки, прогноз будет либо неуверенным, либо сообщение будет классифицировано как out_of_scope. С Rasa вы также можете запустить оценку на тестовом наборе, который дает вам гистограмму уровней достоверности. Это помогает выбрать подходящий порог для показателей достоверности. Что касается расчета достоверности: для Rasa это немного отличается в зависимости от того, какой компонент конвейера вы используете.

...