У меня есть X_train и Y_train. X_train и Y_train имеют положительные и отрицательные значения между (-2,2). Функция активации Tanh может иметь значение между (-1,1). Точно так же ReLU может иметь только положительное значение больше 1. Если я хочу масштабировать данные для обучения с использованием глубокой нейронной сети, должен ли я рассмотреть функцию активации, чтобы определить диапазон масштабирования?
Должен ли я масштабировать свои данные до (-1,1) диапазона, если я использую функцию активации Tanh? Аналогично, необходимо ли масштабировать данные между (0,1) для функции активации ReLU?
Мои немасштабированные данные имеют как положительные, так и отрицательные числа. Я использую масштабирование между (0,1) и функцией активации ReLU. У меня проблема с прогнозом для этих настроек. Решение расходится для (0,1) масштабирования с помощью функции активации ReLU. Однако, если я использую (-1,1) масштабирование и функцию активации ReLU, решение не расходится. Я также обнаружил, что диапазон масштабирования не влияет на предсказание функции активации Тан.
Спасибо.