В ячейке LSTM имеется 5 уравнений для 3 состояний затвора и 2 ячеек.
Забыть затвор, Входной затвор, Выходной затвор (Я не уверен, что это правильное имя называется) используйте сигмоид для активации между [0, 1].
В отличие от Ct 'и Ht используйте tanh для активации между n [-1, 1].
Я не мог найти, почему используются разные функции активации.