Я искал объяснение в сети, но не смог его найти.Давайте поговорим о конкретном временном шаге RNN.Предположим, у нас есть отрицательный вход в этой точке, скажем, x (t) = (-2,4, -4), и мы также предполагаем, что размер состояния 5 равен h (t-1).Для входного вентиля это x (t) и h (t-1) дает входной вектор 8, который умножается на весовую матрицу входного вентиля размером 8x5, которая в итоге дает новое состояние h (t) размера 5. Моемупонимание того, что некоторые значения h (t) могут стать отрицательными из-за отрицательного умножения входных данных с матрицей Уайта.Теперь, если это отрицательное значение передается через активацию (скажем, сигмоид), не делает ли это значения нулевыми?И, следовательно, нет ли шанса стереть входную информацию?Это может быть верно для всех ворот, я только что упомянул входные ворота.Мой вопрос заключается в том, можно ли оставить отрицательные входные данные такими, какие они есть, или целесообразно предварительно обработать их некоторым положительным диапазоном перед подачей в rnn / lstms?Спасибо