ConvLSTM2D подготовка данных

Question

Я пытаюсь использовать ConvLSTM2D для 1700 данных 90x3 в кератах.

Я уже сделал CONV2D, данные которого (1700x90x30x1).Формат данных (пакет, строки, столбцы, каналы). Теперь я хочу использовать CONVLSTM2D, но я обнаружил, что должен изменить формат данных (выборки, время, строки, столбцы, каналы).

samples = 1700, row = 90, cols = 30, channel = 1

Как определить «время»?

Answer 1

ConvLSTM2D, или LSTM, как особый тип рекуррентной нейронной сети в целом, используются, когда входные данные представляют собой временные ряды. Это позволяет использовать временные свойства в данных. В случае ConvLSTM2D вход обычно представляет собой видео, состоящее из нескольких кадров. Следовательно, вы должны изменить данные следующим образом:

samples=1700 , time=t, row=90 , cols=30, channels=1

, где t - количество кадров в видео.

В качестве примера, скажем, мы хотим выполнить классификацию видео (или прогнозирование кадров) на основе короткого видеоклипа из 10 кадров, затем t = 10 . Это, конечно, имеет смысл только в том случае, если ваши кадры изображения расположены во временном порядке. Просто используйте tf.reshape (...) .