Я обучил двоичный классификатор изображений, используя сервис Microsoft customvision.ai. Я ничего не знаю об этой модели, кроме инженера службы поддержки, который сказал, что это не подготовленная модель.
Мы подаем простое изображение, которое может иметь или не иметь вертикальную линию. Вертикальная линия может быть блеклой, размытой или размытой, иметь тени, чтобы скрыть ее и т. Д. c. Выходные данные модели:
«0» означает, что линия не обнаружена, а «1» означает, что линия была обнаружена.
Обучено около 3000 изображений (1800 "0" и 1200 "1").
Работает очень хорошо. На тестовых данных (включая тестовые данные, которые выглядят немного отличающимися от наших тренировочных данных), он оценивается с точностью 98%.
Однако вероятности, которые мы видим, сбивают с толку. Он ОЧЕНЬ уверен в линии или не линии. Например, вот некоторые из вероятностей для некоторых тестовых изображений, у которых все есть линия в них (все они были правильно определены):
первое число равно "0", второе число равно "1"
- [6.4333224e-17, 1.0]
- [6.8112994e-15, 1.0]
- [5.159206e-20, 1.0]
- [ 1.6772212e-17, 1.0]
- [3.0951005e-06, 0.9999969]
- [7.4060405e-16, 1.0]
- [1.0175899e-15, 1.0]
- [6.8801084e-23, 1.0]
- [4.666613e-12, 1.0]
- [3.0395688e-18, 1.0]
- [4.956058e -19, 1,0]
- [0,064230286, 0,9357697]
- [7,0909375e-13, 1,0]
- [7,791976e-27, 1,0]
- [1.5340185e-15, 1.0]
- [3.0574949e-22, 1.0]
Я не совсем уверен, что об этом думать. С одной стороны модель довольно неплохо работает. С другой стороны, у нас нет способа интерпретировать вероятности результатов.
Если мы думаем, что наши данные обучения отражают то, что мы увидим в реальной жизни, могу ли я доверять этой модели?
Есть мысли?