Что именно является временным шагом в модели LSTM?

Question

Я новичок в LSTM и RNN в целом, я ломал голову, чтобы понять, что именно является временным шагом. Я был бы очень признателен за интуитивное объяснение этого

Answer 1

Давайте начнем с отличного изображения из блога Криса Олаха (настоятельно рекомендуется прочитать кстати):

В рекуррентной нейронной сети у вас есть несколько повторений одной и той же ячейки. Вывод таков: вы берете какой-то вход (x ₀ ), пропускаете его через ячейку, чтобы получить какой-то вывод ₁ (изображен черной стрелкой справа на картинке), затем передайте выходные данные ₁ в качестве входных данных (возможно, добавив еще несколько входных компонентов - x ₁ на изображение) в ту же ячейку, создав новый выходной вывод ₂ , pass это снова как ввод в ту же ячейку (снова с возможно дополнительным компонентом ввода x ₂ ), производя вывод ₃ и так далее.

Шаг по времени - это единичное вхождение ячейки, например на первом временном шаге вы выводите ₁ , h ₀ , на втором временном шаге вы выводите ₂ и так далее.