Подача полных последовательностей изображений в сеть или подача одного кадра за раз?

Question

Я сейчас пытаюсь реализовать следующую статью: https://research.nvidia.com/sites/default/files/publications/dnn_denoise_author.pdf

Мои данные имеют следующую форму: (7, 512, 512, 1), где 7 - количество кадров в моей последовательности, 512 - ширина и высота изображения, а 1 - количество каналов.

Мой вопрос: во время обучения лучше ли передавать сверточной сети и сети RNN полную последовательность изображений или передавать каждый кадр последовательности один за другим?

Я уже попробовал первый подход, но результаты выглядят не слишком хорошо. Следовательно, это «правильный» способ обработки последовательностей изображений, или у вас есть какой-то совет?

Спасибо за ваше время!

Answer 1

Здесь автор отправляет один кадр на каждом временном шаге, что означает, что у вас будет 7 развертывание LSTM, при каждом развертывании он принимает 1 кадр.