То, что вы ищете, это ConvLSTM
, который поддерживает spatial
, а также temporal
отношение между sequence of images
. В keras нет официальной реализации, но есть this-thread , в котором есть много идей и реализаций.
Существует репо , которые предоставляют пользовательский слой conv-lstm
. Также тензор потока имеет стабильную реализацию этого.
Для другой последовательности можно добавить изображение с нулевым значением. Пока это последовательность, это не имеет значения / влияет на модель.