QnA maker - разные результаты между REST API и страницей предварительного просмотра

Question

Я использую Azure QnA версии 4. Я публикую сообщения с использованием REST API.Если я отправляю сообщение в Live-базу данных с использованием параметра isTest = true, я получаю оценку ответа около 80%, что очень разумно, так как мой вопрос почти соответствует базе данных.Я получаю точно такой же результат, используя веб-интерфейс на qnamaker.ai.

Используя тот же POST для опубликованной версии (без isTest = true), я получаю оценку всего около 13% (чтоочень странно для ввода почти вопрос, который соответствует базе данных).Я нашел некоторые подсказки в FAQ, что небольшие различия нормальны, но я не думаю, что разница в 67% нормальна.Могу ли я что-нибудь сделать, чтобы опубликованная версия приблизилась к тестовой версии?

Answer 1

Пурсанг имеет хороший ответ на свой ответ.Хороший способ решить эту проблему - добавить «isTest: true» в тело запроса поста QnAMaker.Это сработало для меня.Это ошибка qnaMaker, когда нам нужно добавить несколько баз знаний ...

{"question": "your question here", "top": 3, "isTest": true}

Удачи!

Answer 2

У меня была точно такая же проблема.Это было связано с тем, что что-то пошло не так, когда я создал QnA Service в Azzure.Язык вашей базы знаний QnA определяется автоматически.Вы можете видеть свой язык в своем поисковом ресурсе Azure => testkb => Поля => вопрос / awnser MSDN

Мой был установлен на Стандартный-Lucene вместо немецко-Microsoft .Я не нашел способа изменить это, поэтому мне пришлось заново создать службу QnA и переместить туда все базы знаний. Пример изображения на неправильном языке Пример изображения на правильном языке

Answer 3

Я использую сервис QnA, созданный в феврале этого года.Существуют расхождения между тестом (портал QnA) и опубликованной версией (api).Правильный ответ упадет на 10%, в то время как плохой ответ возрастет на 10%, что в конечном итоге преобразует хорошие совпадения в тесте в плохие в приложении бота.Попробуйте объяснить это своему клиенту.

Похоже, что вы можете столкнуться с этой проблемой, если будете использовать несколько КБ (= баз знаний) в одной службе поиска.Тестовый индекс - это отдельный индекс, который охватывает все ваши КБ для этой службы поиска, в то время как производственные КБ при публикации индексируются отдельно на КБ.Вспомогательный бот QnA Maker на портале QnA упоминает следующее:

"Верхний ответ иногда может отличаться из-за небольших различий между тестовым и рабочим индексами. Тестовый чат на портале попадает в тестовый индекс и генерирует ответAPI соответствует производственному индексу. Обычно это происходит, когда у вас есть несколько баз знаний в одной и той же службе QnA Maker. Узнайте больше о различиях в показателях достоверности .

Это происходит потому, что все тестовые базы знаний объединеныв один индекс, в то время как базы знаний prod находятся в отдельных индексах. Мы можем помочь вам, разделив все тесты и продукты на отдельные индексы для вашей службы. "

Поэтому нам нужно связаться с Microsoft, чтобы также разделить тестиндекс на КБ?Так что это исправит любые расхождения между тестовой и опубликованной версией?Кто-нибудь еще не пробовал?

Или мы ограничиваемся одним КБ на одну поисковую службу (= несколько поисковых служб = дорого).

Или мы помещаем все в однуКБ, и использовать метаданные для логического разделения ответов и молиться, чтобы этот массивный КБ дал достаточно хорошие результаты?

Answer 4

Тестовая версия и опубликованная версия - две разные базы знаний .Это позволяет вам вносить изменения и тестировать их, не затрагивая действующую базу знаний, которую используют ваши клиенты.Если вы получаете худшие результаты с вашей опубликованной базой знаний, чем с тестовой версией, это означает, что вы подготовили свою тестовую базу знаний после публикации.Повторная публикация может исправить проблему.

Если вы публикуете снова, и ваша опубликованная версия по-прежнему не работает так же, как тестовая версия, рассмотрите эту запись в FAQ :

Обновления, которые я внес в свою базу знаний, не отображаются при публикации.Почему бы и нет?

Каждая операция редактирования, будь то обновление таблицы, тестирование или настройки, должна быть сохранена перед публикацией.Обязательно нажимайте кнопку «Сохранить и обучить» после каждой операции редактирования.