Как я могу построить сеть LSTM для двумерных данных?

Question

Я вижу, что LSTM в Keras принимает (batch_size, timesteps, data_dim) в качестве входной формы.Но мне интересно, есть ли простой способ расширить их до 4 измерений?Например, как мы можем применить lstm к набору данных Moving-MNIST, у нас есть изображения размером 64 на 64?

Answer 1

Вы можете использовать модель CNN для извлечения особенностей ваших изображений перед подачей их в LSTM.

# define CNN model
cnn = Sequential()
cnn.add(Conv2D(...))
cnn.add(MaxPooling2D(...))
cnn.add(Flatten())

# define LSTM model
model = Sequential()
model.add(TimeDistributed(cnn, ...))
model.add(LSTM(..))
model.add(Dense(...))