Генерация следующего кадра с помощью сверточного LSTM

Question

Я изо всех сил пытался найти хорошие учебники или примеры, демонстрирующие сверточную LSTM.

Я пытаюсь построить модель, которая будет генерировать следующий кадр на основе серии предыдущих кадров. Использование TimeDistributed и ConvLSTM2D немного сложно.

Кто-нибудь может поделиться примерами?

Answer 1

Используйте эту ссылку: https://github.com/keras-team/keras/blob/master/examples/conv_lstm.py

В приведенной выше ссылке они использовали видео в форме (n_samples = 1200, n_frames = 15, n_row_image = 40, n_col_image = 40, n_channels = 1) для прогнозирования другого видеокадра в тестовом наборе. Они использовали ConvLSTM2D, которая является хорошей функцией, которую можно использовать для предсказания кадров или любых других проблем с глубоким обучением, связанных с видео.