Как передать последовательности изображений в сверточные слои и после этого применить ячейки сверления?

Question

Я сейчас пытаюсь реализовать следующую статью: https://research.nvidia.com/sites/default/files/publications/dnn_denoise_author.pdf

У меня проблемы с адаптацией моей сети, которая в настоящее время обрабатывает только отдельные изображения, для обработки последовательностей изображений. Мои данные имеют следующую форму: (7, 512, 512, 1), где 7 - это количество кадров в моей последовательности, 512 - это ширина и высота изображения, а 1 - количество каналов.

Мой вопрос: как пройти последовательность через сверточные слои? (Предложение о рассмотрении других вопросов такого типа, которое я видел, кажется странным, поскольку у меня 7 кадров). Затем я хочу передать результат сверточных слоев в блок ConvLSTM, однако возможно ли это даже с учетом карт характеристик, полученных после сверток и максимального объединения? (Другие ответы для использования блока ConvLSTM относятся только к их непосредственному применению в последовательности). Результат этой операции снова будет передан в свертки и maxpooling и т. Д.

Я также проверил другие вопросы, касающиеся CNN и RNN, и подумывал об использовании функций типа TimeDistributed (... (...)), но я не уверен, что я иду в правильном направлении. , Любой совет более чем приветствуется.

Спасибо за ваше время!

Answer 1

Я сталкиваюсь с подобной ситуацией, когда у меня есть n кадровой последовательности, и я хотел бы предсказать следующий кадр после данной последовательности, решение будет состоять в том, чтобы переслать изображение n через сеть и получить потери из кадра n + 1 и повторить (n + 1, n + 2 и т. Д.). Надеюсь, я правильно понял.