Я пытаюсь понять простые числовые RNN, основываясь на статье под названием «Основы глубокого обучения - Введение в рекуррентные нейронные сети» (https://www.analyticsvidhya.com/blog/2017/12/introduction-to-recurrent-neural-networks/). В этой статье при временном шаге t = 0 вычисление скрытого слоя представляет собой умножение между 1-м входом x (0), например [1,0,0,0], и матрицей whx, имеющей размерность 3 x 4. whx matrix
Затем получаем текущее состояние (ht). Включает ли ht (0) умножение на матрицу whh? Кроме того, как вычислить следующий временной шаг?
Однако другие вычисления RNN основаны на книге, которая называется «Pro Machine Learning Algorithms», особенно в главе «Рекуррентная нейронная сеть», «На временном шаге t = 0, скрытый слой» вычисление - это умножение между всеми входными данными и матрицей whx, которая имеет размерность 4 x 3
вход и whx
- На основе этих двух вычислений, какой из них правильный ?
- Как определить размеры матрицы WHH?