Применение порога к LUIS, например Kore.ai (окончательное, возможное и исключенное)

Question

У меня есть веб-приложение, которое вызывает LUIS и Kore.ai для распознавания намерений.В Коре мне удалось установить пороги для окончательного, возможного и устраненного.К сожалению, в LUIS такой опции нет, и в итоге я использую лучший результат.Я сам определил порог, чтобы я мог сопоставить ответы Кореи.

Но немногие намерения (распознавание через LUIS) опускаются ниже порогового значения (установленного, как мы делаем в Kore) и устраняются, но LUIS правильно дает Намерение лучшего результата.Как мы справимся с этим?

Правильна ли логика установки порога для результатов LUIS (например, Kore)?Или я должен использовать высший балл LUIS как окончательный.

Answer 1

Понятно, что вы хотите попробовать сравнить два сервиса, но не стоит.Методологии, алгоритмы и т. Д., Используемые каждым сервисом, кажутся слишком разными (следовательно, LUIS возвращает большинство намерений выше порога, который вы пытаетесь согласовать с Kore.ai.

Если вы планируетеиспользуйте как LUIS, так и Kore.ai, тогда вы должны работать с каждым таким, как они были спроектированы. Другими словами, используйте высший балл LUIS.

В качестве альтернативы, вы могли бы создать набор пороговых значений для LUIS, которые дают схожие результаты.как Kore.ai, но не выравнивайте по значению. Например, если окончательный захват двух верхних, то отрегулируйте порог LUIS, чтобы сделать то же самое.достаточно много настроек, и нет никакой гарантии, что значения обязательно совпадут с пороговыми значениями, созданными для соответствия Kore.ai, поскольку результаты LUIS недетерминированные .