У нас есть «обученный классификатор».Это не обязательно классификатор, такой как SVM, MLP и т. Д.
Классификатор возвращает список выходов, оцененных с доверительной оценкой.
При заданном входе выходные данные могут выглядетькак это:
- Сопоставленный вывод 1 -> оценка 90
- Сопоставленный вывод 2 -> оценка 85
- Сопоставленный вывод 3 -> оценка 80
В этом случае мы будем считать результат классификатора «плохим», поскольку расстояние всех доверительных оценок для всех выходов «низкое».
Учитывая другой вход, выход может выглядеть следующим образом:
- Соответствующий выход 1 -> счет 90
- Соответствующий выход 2 -> счет 45
- Совпадающий выход 3 -> оценка 25
В этом случае мы считаем результат классификатора «хорошим», поскольку расстояние всех доверительных оценок для всех выходов равно"high".
У нас есть много входов, которые мы можем запустить через систему.
Есть ли способo выяснить, что такое «достаточно высокая» дистанция , чтобы я мог сказать, что модель «достаточно уверенная»?
Это не для сравнения алгоритмов, а производительности системы с самой собойсо временем.