Keras Вывод тензоров в модель должен быть выходом Keras `Layer` (таким образом, удерживая метаданные прошлого слоя)

Question

Я пытаюсь внедрить отмена маски в Керасе .У меня есть кодировщик VGG, который выводит карту определенных функций, например relu5_1, и список масок для удаления из очереди.

def VGG19(input_tensor=None, input_shape=None, target_layer=1):
    """
    VGG19, up to the target layer (1 for relu1_1, 2 for relu2_1, etc.)
    """
    if input_tensor is None:
        inputs = Input(shape=input_shape)
    else:
        inputs = Input(tensor=input_tensor, shape=input_shape)

    layer, unpooling_masks = vgg_layers(inputs, target_layer)

    model = Model(inputs, [layer, unpooling_masks], name='vgg19')
    load_weights(model)
    return model, unpooling_masks


def vgg_layers(inputs, target_layer):
    unpooling_masks = []
    # Block 1
    x_b1 = Conv2D(64, (3, 3), activation='relu', padding='same', name='block1_conv1')(inputs)    
    x = Conv2D(64, (3, 3), activation='relu', padding='same', name='block1_conv2')(x_b1)
    before_pooling = x     
    x = MaxPooling2D((2, 2), strides=(2, 2), name='block1_pool')(x)
    unpooling_masks.append(make_unpooling_mask(x, before_pooling))

    # Block 2
    x_b2 = Conv2D(128, (3, 3), activation='relu', padding='same', name='block2_conv1')(x)
    x = Conv2D(128, (3, 3), activation='relu', padding='same', name='block2_conv2')(x_b2)
    before_pooling = x 
    x = MaxPooling2D((2, 2), strides=(2, 2), name='block2_pool')(x)
    unpooling_masks.append(make_unpooling_mask(x, before_pooling))

    # Block 3
    x_b3 = Conv2D(256, (3, 3), activation='relu', padding='same', name='block3_conv1')(x)

    x = Conv2D(256, (3, 3), activation='relu', padding='same', name='block3_conv2')(x_b3)
    x = Conv2D(256, (3, 3), activation='relu', padding='same', name='block3_conv3')(x)
    x = Conv2D(256, (3, 3), activation='relu', padding='same', name='block3_conv4')(x)
    before_pooling = x 
    x = MaxPooling2D((2, 2), strides=(2, 2), name='block3_pool')(x)
    unpooling_masks.append(make_unpooling_mask(x, before_pooling))

    # Block 4
    x_b4 = Conv2D(512, (3, 3), activation='relu', padding='same', name='block4_conv1')(x)

    x = Conv2D(512, (3, 3), activation='relu', padding='same', name='block4_conv2')(x_b4)
    x = Conv2D(512, (3, 3), activation='relu', padding='same', name='block4_conv3')(x)
    x = Conv2D(512, (3, 3), activation='relu', padding='same', name='block4_conv4')(x)
    before_pooling = x 
    x = MaxPooling2D((2, 2), strides=(2, 2), name='block4_pool')(x)
    unpooling_masks.append(make_unpooling_mask(x, before_pooling))

    # Block 5
    x_b5 = Conv2D(512, (3, 3), activation='relu', padding='same', name='block5_conv1')(x)

    if target_layer == 5:
        return x_b5, unpooling_masks
    elif target_layer == 4:
        return x_b4, unpooling_masks
    elif target_layer == 3:
        return x_b3, unpooling_masks
    elif target_layer == 2:
        return x_b2, unpooling_masks
    elif target_layer == 1:
        return x_b1, unpooling_masks

Это функция для удаления из очереди

def make_unpooling_mask(x, before_pooling):
    t = UpSampling2D()(x)

    mask = Lambda(lambda x: K.cast(K.greater(x[0],x[1]), dtype='float32'))([t, before_pooling])

    return mask 

Я получаю эту ошибку

Исключение: ValueError Выходные тензоры в модель должны быть выходными данными Keras Layer (таким образом, удерживая метаданные прошлого слоя).Found: [<tf.Tensor 'lambda_1/Cast:0' shape=(?, 256, 256, 64) dtype=float32>, <tf.Tensor 'lambda_2/Cast:0' shape=(?, 128, 128, 128) dtype=float32>, <tf.Tensor 'lambda_3/Cast:0' shape=(?, 64, 64, 256) dtype=float32>, <tf.Tensor 'lambda_4/Cast:0' shape=(?, 32, 32, 512) dtype=float32>]

Это происходит, когда на линии, составляющей модель model = Model(inputs, [layer, unpooling_masks], name='vgg19')

Что можно сделать?

Answer 1

При вызове Model API значение для аргумента output должно быть тензорным (или списком тензоров), в данном случае это список списков тензоров, поэтому возникает проблема. Просто распакуйте список unpooling_masks (* unpooling_masks) при вызове Model.

model = Model(inputs, [layer, *unpooling_masks], name='vgg19')