Можно ли извлечь часть модели с несколькими входами в Keras / TensorFlow? - PullRequest
Новая
       17

Можно ли извлечь часть модели с несколькими входами в Keras / TensorFlow?

0 голосов
/ 15 апреля 2020

У меня есть сеть с несколькими входами: 

def build_model():
  inputRGB = tf.keras.Input(shape=(128,128,3), name='train_ds')
  inputFixed = tf.keras.Input(shape=(128,128,3), name='fixed_ds')
  inputDinamic = tf.keras.Input(shape=(128,128,3), name='dinamic_ds')

    # rete per Immagini RGB
  rgb = models.Sequential()  
  rgb = layers.Conv2D(32, (5, 5), padding='SAME')(inputRGB)
  rgb = layers.PReLU()(rgb)
  rgb = layers.MaxPooling2D((2, 2))(rgb)
  rgb = layers.BatchNormalization()(rgb)
  rgb = layers.Conv2D(64, (3, 3))(rgb)
  rgb = layers.PReLU()(rgb)
  rgb = layers.Conv2D(64, (3, 3))(rgb)
  rgb = layers.PReLU()(rgb)
  rgb = layers.Conv2D(64, (3, 3))(rgb)
  rgb = layers.PReLU()(rgb)
  rgb = layers.Dropout(0.5)(rgb)
  rgb = layers.GlobalAvgPool2D()(rgb)
  rgb = Model(inputs = inputRGB, outputs=rgb)

    # rete per Density Map con "Pallini"
  fixed = models.Sequential()
  fixed = layers.Conv2D(32, (5, 5), padding='SAME')(inputFixed)
  fixed = layers.PReLU()(fixed)
  fixed = layers.MaxPooling2D((2, 2))(fixed)
  fixed = layers.BatchNormalization()(fixed)
  fixed = layers.Conv2D(64, (3, 3))(fixed)
  fixed = layers.PReLU()(fixed)
  fixed = layers.Conv2D(64, (3, 3))(fixed)
  fixed = layers.PReLU()(fixed)
  fixed = layers.Conv2D(64, (3, 3))(fixed)
  fixed = layers.PReLU()(fixed)
  fixed = layers.Dropout(0.5)(fixed)
  fixed = layers.GlobalAvgPool2D()(fixed)
  fixed = Model(inputs = inputFixed, outputs=fixed)

    # rete per Density map per "assembramenti"
  dinamic = models.Sequential()  
  dinamic = layers.Conv2D(32, (5, 5), padding='SAME')(inputDinamic)
  dinamic = layers.PReLU()(dinamic)
  dinamic = layers.MaxPooling2D((2, 2))(dinamic)
  dinamic = layers.BatchNormalization()(dinamic)
  dinamic = layers.Conv2D(64, (3, 3))(dinamic)
  dinamic = layers.PReLU()(dinamic)
  dinamic = layers.Conv2D(64, (3, 3))(dinamic)
  dinamic = layers.PReLU()(dinamic)
  dinamic = layers.Conv2D(64, (3, 3))(dinamic)
  dinamic = layers.PReLU()(dinamic)
  dinamic = layers.Dropout(0.5)(dinamic)
  dinamic = layers.GlobalAvgPool2D()(dinamic)
  dinamic = Model(inputs = inputDinamic, outputs=dinamic)

  concat = layers.concatenate([rgb.output, fixed.output, dinamic.output])  # merge the outputs of the two models
  k = layers.Dense(1)(concat)

  modelFinal = Model(inputs={'train_ds':inputRGB, 'fixed_ds':inputFixed, 'dinamic_ds':inputDinamic}, outputs=[k])

  opt = tf.keras.optimizers.Adam(learning_rate=0.001, amsgrad=False)


  modelFinal.compile(optimizer=opt , loss='mae', metrics=['mae'])
  return modelFinal

Я хотел бы извлечь из лучшей модели, которую я сохранил и перезагрузил, с помощью следующих строк кода: 

best_model = tf.keras.models.load_model(checkpoint_path + 'regression_count_128.30-1.11.hdf5')

только первая часть предыдущей показанной мульти-входной нейронной сети. В частности, я хотел бы извлечь часть, которая принимает изображение RGB в качестве входных данных, чтобы протестировать модель (обученную с 3 различными типами изображений) только на тестовых изображениях RGB.

1 Ответ

1 голос
/ 15 апреля 2020

Используйте имя входного слоя (которое 'train_ds') и имя выходного слоя части RGB (которую вы не назвали, но вы можете использовать best_model.summary(), чтобы найти ее; она начинается с 'global_average_pooling2d') чтобы построить новую модель, подобную этой: 

rgb_model = Model(
      best_model.get_layer('train_ds').output,
      best_model.get_layer(name_of_rgb_output_layer).output
)

Примечание: строки ... = model.Sequential() являются избыточными и могут быть удалены, поскольку вы используете функциональный API-интерфейс keras для определите свои модели.

...