Функция активации NN

Question

Мне нужна надежная замена функции активации сигмоида. Проблема с сигмоидальной функцией заключается в том, что форматированный вывод находится в диапазоне от 0 до 1. Мне нужна функция активации с выходом от 0 до 255. Я тренирую NN с алгоритмом обратного распространения. Если я буду использовать какую-то другую функцию, мне нужно настроить алгоритм обучения?

Answer 1

Этого легко добиться, умножив выходной сигнал на 255. Это переместит данные из шкалы от 0 до 1 в шкалу от 0 до 255.

Если вы измените функцию активации, вам, безусловно, потребуется изменить и расчеты. Алгоритм обратного распространения использует подход градиентного спуска, поэтому вам необходимо соответствующим образом включить производную функции активации.

Answer 2

Самое простое решение вашей проблемы - масштабировать ваши данные. Разделите выходные данные вашего тренировочного набора на 255 во время обучения, и когда вы используете свою обученную модель, вы должны умножить выходные данные своей нейронной сети на 255. Таким образом, вам не нужно изменять вычисление градиента.