Многомерные тензоры как вход в rnn в тензорном потоке (tf.contrib.rnn.RNNCell)

Question

Из документации тензорного потока о tf.contrib.rnn.RNNCell: «Это определение ячейки отличается от определения, используемого в литературе. В литературе« ячейка »относится к объекту с одним скалярным выходом. Это определение относится к горизонтальный массив таких единиц. "

Кажется, что ячейка rnn принимает векторы как входные данные. Однако я хотел бы передать изображения / видео на сайт (например, [размер партии, шаги, высота, ширина, каналы]). Есть ли способ сделать это, используя ячейку RNN и динамический RNN, или мне нужно вручную построить RNN?

Answer 1

Как вы уже сказали, RNN принимает в качестве входных данных только тензор, как [batch_size, sequence_lentgh, features].

Чтобы использовать RNN из tenorflow, вам нужно будет извлечь объекты с CNN для каждого кадра и преобразовать выходные данные CNN в тензор, который следует форме [batch_size, sequence_lentgh, features], чтобы передать его в RNN. .