Распределенный по времени слой керас

Question

Я пытаюсь понять распределенный по времени слой в керасе / тензорном потоке. Насколько я понял, это своего рода обертка, позволяющая, например, обрабатывать последовательность изображений.

Теперь мне интересно, как бы спроектировать распределенную по времени сеть без использования слоя с распределенным по времени.

Например, если бы у меня была последовательность из 3 изображений, каждое из которых имеет 1 канал и размер пикселя 256x256px, это должно быть сначала обработано CNN, а затем ячейками LSTM. Тогда мой входной сигнал для слоя с распределением по времени будет (N, 3,256,256,1), где N - размер пакета.

Тогда CNN будет иметь 3 выхода, которые подаются в ячейку LSTM.

Теперь, без использования распределенных по времени слоев, возможно ли достичь sh того же самого, настроив сеть с 3 различными входами и 3 одинаковыми CNN? Выходные данные 3 CNN могут затем быть сведены и объединены.

Отличается ли это от подхода с распределением по времени?

Заранее спасибо,

M

Answer 1

Я создал прототип для вас. Я использовал наименьшее количество слоев и произвольных юнитов / ядер / фильтров, меняй их как хочешь. Сначала создается модель cnn, которая принимает входные данные размером (256,256,1). Он использует одну и ту же модель cnn 3 раза (для ваших трех изображений в последовательности) для извлечения функций. Он складывает все объекты, используя лямбда-слой, чтобы вернуть его в последовательность. Затем последовательность проходит уровень LSTM. Я выбрал, чтобы LSTM возвращал один вектор объектов для каждого примера, но если вы хотите, чтобы выходные данные также были последовательностью, вы можете изменить его на return_sequences=True. Вы также можете добавить последние дополнительные слои, чтобы адаптировать его к вашим потребностям.

from tensorflow.keras.layers import Input, LSTM, Conv2D, Flatten, Lambda
from tensorflow.keras import Model
import tensorflow.keras.backend as K

def create_cnn_model():
  inp = Input(shape=(256,256,1))
  x = Conv2D(filters=16, kernel_size=5, strides=2)(inp)
  x = Flatten()(x)
  model = Model(inputs=inp, outputs=x, name='cnn_Model')
  return model


def combined_model():
  cnn_model = create_cnn_model()
  inp_1 = Input(shape=(256,256,1))
  inp_2 = Input(shape=(256,256,1))
  inp_3 = Input(shape=(256,256,1))

  out_1 = cnn_model(inp_1)
  out_2 = cnn_model(inp_2)
  out_3 = cnn_model(inp_3)

  lstm_inp = [out_1, out_2, out_3]
  lstm_inp = Lambda(lambda x: K.stack(x, axis=-2))(lstm_inp)
  x = LSTM(units=32, return_sequences=False)(lstm_inp)

  model = Model(inputs=[inp_1, inp_2, inp_3], outputs=x)
  return model

Теперь создайте модель следующим образом:

model = combined_model()

Проверьте сводку:

model.summary()

, которая напечатает:

Model: "model_14"
__________________________________________________________________________________________________
Layer (type)                    Output Shape         Param #     Connected to                     
==================================================================================================
input_53 (InputLayer)           [(None, 256, 256, 1) 0                                            
__________________________________________________________________________________________________
input_54 (InputLayer)           [(None, 256, 256, 1) 0                                            
__________________________________________________________________________________________________
input_55 (InputLayer)           [(None, 256, 256, 1) 0                                            
__________________________________________________________________________________________________
cnn_Model (Model)               (None, 254016)       416         input_53[0][0]                   
                                                                 input_54[0][0]                   
                                                                 input_55[0][0]                   
__________________________________________________________________________________________________
lambda_3 (Lambda)               (None, 3, 254016)    0           cnn_Model[1][0]                  
                                                                 cnn_Model[2][0]                  
                                                                 cnn_Model[3][0]                  
__________________________________________________________________________________________________
lstm_13 (LSTM)                  (None, 32)           32518272    lambda_3[0][0]                   
==================================================================================================
Total params: 32,518,688
Trainable params: 32,518,688
Non-trainable params: 0

Можно напечатать внутреннюю сводку модели cnn:

model.get_layer('cnn_Model').summary()

, которая в данный момент печатает:

Model: "cnn_Model"
_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
input_52 (InputLayer)        [(None, 256, 256, 1)]     0         
_________________________________________________________________
conv2d_10 (Conv2D)           (None, 126, 126, 16)      416       
_________________________________________________________________
flatten_6 (Flatten)          (None, 254016)            0         
=================================================================
Total params: 416
Trainable params: 416
Non-trainable params: 0
_________________________

Ваша модель ожидает список в качестве входных данных. Длина списка должна составлять 3 (поскольку в последовательности 3 изображения). Каждый элемент списка должен быть массивом numpy (batch_size, 256, 256, 1). Я работал с фиктивным примером ниже с размером партии 1:

import numpy as np

a = np.zeros((256,256,1)) # first image filled with zeros
b = np.zeros((256,256,1)) # second image filled with zeros
c = np.zeros((256,256,1)) # third image filled with zeros

a = np.expand_dims(a, 0) # adding batch dimension to make it (1, 256, 256, 1)
b = np.expand_dims(b, 0) # same here
c = np.expand_dims(c, 0) # same here


model.compile(loss='mse', optimizer='adam')
# train your model with model.fit(....)

e = model.predict([a,b,c]) # a,b and c have shape of (1, 256, 256, 1) where the first 1 is the batch size