Функция активации определенного узла в нейронной сети принимает взвешенную сумму предыдущего уровня.
Если этот предыдущий слой является слоем с функцией активации, то он будет просто взвешенной суммой узлов и весов, которые были смещены предыдущей функцией активации на каждом узле. Если эта функция активации представляет собой функцию сжатие , например сигмовидную, то все операнды во взвешенной сумме складываются до меньших чисел, прежде чем складываются вместе.
Если у вас есть только несколько узлов в предыдущем слое, то число, передаваемое текущему узлу с функцией активации, вероятно, будет небольшим. Однако, если количество узлов в предыдущем слое велико, это число не обязательно будет небольшим.
Вход для функции активации в нейронной сети зависит от:
- размер предыдущего слоя
- функция активации предыдущего слоя
- значение весов, соединяющих эти слои
- значения узлов в предыдущем слое
Следовательно, значения, передаваемые в функцию активации, могут быть действительно любыми.