В проблеме, которую я пытаюсь решить, мой выходной домен центрирован по нулю, между -1 и 1. При поиске функций активации я заметил, что ReLu выводит значения в диапазоне от 0 до 1, что в основном означало бы, что ваш вывод - это все отрицательный или все положительные.
Это можно сопоставить обратно с соответствующим доменом посредством обратной нормализации, но ReLu предназначен для определения «силы» нейрона в одном направлении, но в моей проблеме мне нужно определить силу нейрона в одном из два направления. Если я использую tanh, мне нужно беспокоиться об исчезающем / взрывном градиенте, но если я использую ReLu, мой вывод всегда будет «смещен» в сторону положительных или отрицательных значений, потому что, по сути, очень маленькие значения должны быть сопоставлены с положительным доменом и большими значение отрицательного домена или наоборот.
Другая информация: Я использовал ReLu, и он работает хорошо, но я боюсь, что это по неправильным причинам. Причина, по которой я говорю это, заключается в том, что для области pos или neg, приближающейся к меньшим значениям, будет означать более сильное соединение до точки, которая вообще не будет активирована. Да, технически сеть может работать (возможно, сложнее, чем нужно), чтобы сохранить всю область выходных данных поезда в положительном пространстве, но если значение превысит пределы обучающего набора, его не будет? когда на самом деле он должен быть еще более активным
Как правильно обращаться с доменами с нулевым центрированием?