Попытка выполнить транспонированную свертку, но отсутствует пиксель - PullRequest
Новая
       24

Попытка выполнить транспонированную свертку, но отсутствует пиксель

0 голосов
/ 28 июня 2019 
def get_unet(input_img, n_filters=16, dropout=0.5, batchnorm=True):

    # contracting path
    c1 = conv2d_block(input_img, n_filters=n_filters * 1, kernel_size=3, batchnorm=batchnorm)
    p1 = MaxPooling2D((2, 2))(c1)
    p1 = Dropout(dropout * 0.5)(p1)

    c2 = conv2d_block(p1, n_filters=n_filters * 2, kernel_size=3, batchnorm=batchnorm)
    p2 = MaxPooling2D((2, 2))(c2)
    p2 = Dropout(dropout)(p2)

    c3 = conv2d_block(p2, n_filters=n_filters * 4, kernel_size=3, batchnorm=batchnorm)
    p3 = MaxPooling2D((2, 2))(c3)
    p3 = Dropout(dropout)(p3)

    c4 = conv2d_block(p3, n_filters=n_filters * 8, kernel_size=3, batchnorm=batchnorm)
    p4 = MaxPooling2D(pool_size=(2, 2))(c4)
    p4 = Dropout(dropout)(p4)

    c5 = conv2d_block(p4, n_filters=n_filters * 16, kernel_size=3, batchnorm=batchnorm)

    # expansive path
    u6 = Conv2DTranspose(n_filters * 8, (3, 3), strides=(2, 2), padding='same')(c5)
    u6 = concatenate([u6, c4])
    u6 = Dropout(dropout)(u6)
    c6 = conv2d_block(u6, n_filters=n_filters * 8, kernel_size=3, batchnorm=batchnorm)

    u7 = Conv2DTranspose(n_filters * 4, (3, 3), strides=(2, 2), padding='same')(c6)
    u7 = concatenate([u7, c3])
    u7 = Dropout(dropout)(u7)
    c7 = conv2d_block(u7, n_filters=n_filters * 4, kernel_size=3, batchnorm=batchnorm)

    u8 = Conv2DTranspose(n_filters * 2, (3, 3), strides=(2, 2), padding='same')(c7)
    u8 = concatenate([u8, c2])
    u8 = Dropout(dropout)(u8)
    c8 = conv2d_block(u8, n_filters=n_filters * 2, kernel_size=3, batchnorm=batchnorm)

    u9 = Conv2DTranspose(n_filters * 1, (3, 3), strides=(2, 2), padding='same')(c8)
    u9 = concatenate([u9, c1], axis=3)
    u9 = Dropout(dropout)(u9)
    c9 = conv2d_block(u9, n_filters=n_filters * 1, kernel_size=3, batchnorm=batchnorm)

    outputs = Conv2D(1, (1, 1), activation='sigmoid')(c9)
    model = Model(inputs=[input_img], outputs=[outputs])
    return model

Я получил эту модель для Кераса отсюда.Кажется, я получаю сообщение об ошибке: 

  File "train.py", line 87, in get_unet
  u8 = concatenate([u8, c2])
ValueError: A `Concatenate` layer requires inputs with matching shapes except for the concat axis. Got inputs shapes: [(None, 256, 184, 32), (None, 256, 185, 32)]

Итак, я напечатал значения каждого из этих тензоров, и я получил: 

c1: Tensor("activation_2/Relu:0", shape=(?, 512, 370, 16), dtype=float32)
c2: Tensor("activation_4/Relu:0", shape=(?, 256, 185, 32), dtype=float32)
c3: Tensor("activation_6/Relu:0", shape=(?, 128, 92, 64), dtype=float32)
c4: Tensor("activation_8/Relu:0", shape=(?, 64, 46, 128), dtype=float32)
c5: Tensor("activation_10/Relu:0", shape=(?, 32, 23, 256), dtype=float32)
u6: Tensor("dropout_5/cond/Merge:0", shape=(?, 64, 46, 256), dtype=float32)
u7: Tensor("dropout_6/cond/Merge:0", shape=(?, 128, 92, 128), dtype=float32)
u8: Tensor("conv2d_transpose_3/BiasAdd:0", shape=(?, ?, ?, 32), dtype=float32)

Что произошло в C2?Почему второе измерение u8 184, в то время как второе измерение C2 кажется 185. Кроме того, второе измерение C3 s, как представляется, maxpooled в 2 раза из 184 (вероятно, из-за floor функция)

Как мне с этим бороться?Нужно ли мне менять размер вводимых изображений или мне нужно что-то спроектировать во время транспонирования свертки?Нужно ли выполнять интерполяцию для одного дополнительного пикселя?

1 Ответ

1 голос
/ 28 июня 2019

Это происходит потому, что ваше второе измерение даже не разделено на 2 в слое C2.
Вы увеличиваете 185 с коэффициентом 2, что дает 92,5 -> этаж до 92
Но когдавы выполняете операцию другим способом, вы повышаете частоту 92 с коэффициентом 2, что дает вам 184.

Чтобы избежать этого, вы можете просто установить zeropad U8 для совместимости с C2, например: 

u8 = Conv2DTranspose(n_filters * 2, (3, 3), strides=(2, 2), padding='same')(c7)
u8 = ZeroPadding2D(padding=((0, 0), (0, 1)))(u8)
u8 = concatenate([u8, c2])

Если вы не хотите использовать нулевую точку, вы можете изменить форму входных изображений, чтобы иметь размерность, соответствующую степени 2, или размерность, которая может быть разделена на два несколько раз без указания нечетного числа, например224 (можно разделить на два 5 раз, прежде чем давать 7).

Надеюсь, что это поможет вам!

...