У меня проблема с классификацией, когда я хочу иметь возможность полагаться на оценки вероятности из моего классификатора. Я использую softmax на выходе с категориальной функцией потери кроссентропии. Хотя точность классификации хорошая, у меня есть значительное количество случаев неправильной классификации, когда правильный ответ имеет примерно нулевую вероятность на выходе. Другими словами, сеть очень уверенная и неправильная.
Обратите внимание, что для этого приложения у меня есть возможность генерировать хорошие тренировочные данные из симуляции. Я тренируюсь, никогда не повторяя тренировочные данные, поэтому меня не беспокоит переобучение.
Какие подходы, методы или приемы доступны, чтобы моя сеть была менее уверенной? Гораздо важнее иметь некоторую вероятность правильных ответов все время, чем иметь правильные ответы в большинстве случаев до 1,0, если это имеет смысл. В то же время простое выравнивание PMF по факту не очень помогает.