Существует ли версия распространения обратной ошибки, где выход является вероятностью?

Question

Я хочу создать нейронную сеть с прямой связью, в которой выходные данные в обучающих данных имеют логическое значение 0 или 1.

При использовании, однако, я хочу, чтобы выходные данные были ожидаемой вероятностью того, что эти входные данные дали бы 0 или 1.

Учитывая, что наиболее распространенные формы backprop используют функцию активации сигмоида, маловероятно, что это приведет к фактическим вероятностям в качестве результата (сигмоидальная кривая на самом деле не выглядит как "вероятностная" функция - извините, я знаю это волнообразно).

Или, возможно, я ошибаюсь. Можно ли безопасно обрабатывать выходы нейронной сети с прямой связью, использующей функции активации сигмоида и обученные с использованием backprob, как фактическую вероятность получения 1, а не 0?

Answer 1

Да, это будет работать так, как вы хотите, если вы используете стандартную функцию активации сигмоида.

Математика, подтверждающая это, немного сложна, но она фактически сводится к тому, что вы обучаете сигмовидную функцию для генерации среднего значения выходного обучающего набора (это является следствием использования функции квадрата ошибки в нормальный бэкпроп). Поскольку двумя возможными значениями являются 0 и 1, среднее значение, следовательно, точно равно вероятности получения 1.