LUIS Отслеживание высказываний и ответов

Question

Каков наилучший способ отследить, какие запросы были сделаны к LUIS и QnA Maker и каковы были ответы?

Я не хочу регистрировать высказывания и ответы в любой БД, я нужно что-то вроде AppInsights.

Answer 1

Конечно, это возможно, и для этого есть много встроенных элементов. Вы не упоминаете, какой язык / среду вы используете (. net или узел), но вот некоторые отправные точки, на которые стоит обратить внимание:

1. Добавить телеметрию в своего бота (по этой ссылке вы попадете прямо в раздел, посвященный LUIS & QnA Maker)
2. Добавьте телеметрию в своего бота QnAMaker

Эквивалент возможен в узел, я думаю, если это ваш язык по выбору. Если это так, этот пример может быть полезен.

Answer 2

Для Qna Maker , если вы включили Application Insights при создании службы QnA Maker, все, что вам нужно сделать, это создать и выполнить запросы в журналах. На этой странице приведено множество примеров аналитики, которую вы можете запустить.

Для LUIS , предоставленная Hilton ссылка работает для C#, но для узла вам нужен другой подход , В этом примере будет показано, как создать помощника LUIS App Insights в узле и отправить трассировки в идеи приложения. Это не дает вам примеры запросов, но вот некоторые из них, которые я использую и считаю полезными. Если есть какой-то конкретный c metri c, который вы ищете, дайте мне знать.

---

P ie график намерений за последние 30 дней

requests
| where url endswith "messages"
| where timestamp > ago(30d)
| project timestamp, duration, performanceBucket, resultCode, url, id
| parse kind = regex url with *"(?i)http://"botName".azurewebsites.net/api/messages"
| join kind= inner (
traces | extend id = operation_ParentId
) on id
| where message == "LUIS"
| extend topIntent = tostring(customDimensions.LUIS_luisResponse_luisResult_topScoringIntent_intent)
| where topIntent != "None"
| where topIntent != ""
| summarize count() by topIntent
| order by count_ desc
| render piechart

---

Список запросов с результатами ниже 0,5 доверительной вероятности

requests
| where url endswith "messages"
| where timestamp > ago(30d)
| project timestamp, duration, performanceBucket, resultCode, url, id
| parse kind = regex url with *"(?i)http://"botName".azurewebsites.net/api/messages"
| join kind= inner (
traces | extend id = operation_ParentId
) on id
| where message == "LUIS"
| extend topIntent = tostring(customDimensions.LUIS_luisResponse_luisResult_topScoringIntent_intent)
| extend score = todouble(customDimensions.LUIS_luisResponse_luisResult_topScoringIntent_score)
| extend utterance = tostring(customDimensions.LUIS_luisResponse_text)
| order by timestamp desc nulls last
| project timestamp, botName, topIntent, score, utterance, performanceBucket, duration, resultCode
| where score < 0.5

---

Среднее количество сообщений в разговоре

requests
| where url endswith "messages"
| where timestamp > ago(30d)
| project timestamp, url, id
| parse kind = regex url with *"(?i)http://"botName".azurewebsites.net/api/messages"
| join kind= inner (
traces | extend id = operation_ParentId
) on id
| where message == "LUIS"
| extend convID = tostring(customDimensions.LUIS_botContext_conversation_id)
| order by timestamp desc nulls last
| project timestamp, botName, convID
| summarize messages=count() by conversation=convID
| summarize conversations=count(), messageAverage=avg(messages)