Как сопоставить выходную форму генератора и входную форму дискриминатора в GAN? - PullRequest
Новая
       22

Как сопоставить выходную форму генератора и входную форму дискриминатора в GAN?

0 голосов
/ 18 июня 2019

Я работаю над своей первой моделью GAN, я следовал официальной документации Tensorflows, используя набор данных MNIST.Я провел это гладко.Я попытался заменить MNIST своим собственным набором данных, я подготовил его для того же размера, что и MNSIT: 28 * 28, он работает.

Однако мой набор данных более сложен, чем MNIST, поэтому я попытался увеличить размер изображения в моем наборе данных: 512 * 512, но я продолжаю получать ошибки, связанные с формой ввода и вывода.Я не мог понять взаимосвязь между всеми этими формами входа и выхода дискриминатора и генератора.Предполагая, что я хочу изменить свой набор данных с 28 * 28 (размер MNSIT) на y * y (нестандартный размер), какие именно формы ввода / вывода мне нужно настроить в этих слоях?и почему?Кто-нибудь мог прояснить этот поток?

Это мой код, в котором я изменяю свои наборы данных в соответствии с размером MNIST: 

train_images = train_images.reshape(train_images.shape[0], 28, 28, 1).astype('float32')

и здесь я нормализую его: 

train_images = (train_images - 127.5) / 127.5 # Normalize the images to [-1, 1]

Это модель генератора, гдеформа вывода последнего слоя, указывающая что-то 28 * 28: 

def make_generator_model():
model = tf.keras.Sequential()
model.add(layers.Dense(7*7*256, use_bias=False, input_shape=(100,)))
model.add(layers.BatchNormalization())
model.add(layers.LeakyReLU())

model.add(layers.Reshape((7, 7, 256)))
assert model.output_shape == (None, 7, 7, 256) # Note: None is the batch size

model.add(layers.Conv2DTranspose(128, (5, 5), strides=(1, 1), padding='same', use_bias=False))
assert model.output_shape == (None, 7, 7, 128)
model.add(layers.BatchNormalization())
model.add(layers.LeakyReLU())

model.add(layers.Conv2DTranspose(64, (5, 5), strides=(2, 2), padding='same', use_bias=False))
assert model.output_shape == (None, 14, 14, 64)
model.add(layers.BatchNormalization())
model.add(layers.LeakyReLU())

model.add(layers.Conv2DTranspose(1, (5, 5), strides=(2, 2), padding='same', use_bias=False, activation='tanh'))
assert model.output_shape == (None, 28, 28, 1)

return model

Это модель дискриминатора, где вход первого слоя, указывающий что-то 28 * 28: 

def make_discriminator_model():
model = tf.keras.Sequential()
model.add(layers.Conv2D(64, (5, 5), strides=(2, 2), padding='same',
                                 input_shape=[28, 28, 1]))
model.add(layers.LeakyReLU())
model.add(layers.Dropout(0.3))

model.add(layers.Conv2D(128, (5, 5), strides=(2, 2), padding='same'))
model.add(layers.LeakyReLU())
model.add(layers.Dropout(0.3))

model.add(layers.Flatten())
model.add(layers.Dense(1))

return model

1 Ответ

1 голос
/ 18 июня 2019

Вот формула для расчета выходной формы Conv2DTranspose, которую вы можете рассматривать как способ повышения частоты дискретизации: 

# Padding==Same:
H = H1 * stride

# Padding==Valid
H = (H1-1) * stride + HF

где, H = output size, H1 = input size, HF = height of filter.Начиная с «как рассчитать выходную форму-формы-обговора-транспонирования»

Таким образом, форма ввода-вывода Conv2DTranspose должна быть: 

(None, h1, h2, channels)
         ||
Conv2DTranspose(num_filters, (kernel_h1, kernel_h2), strides=(s1, s2), padding='same')
         ||
(None, h1*s1, h2*s2, num_filters)

Где None равен batch_size

Чтобы просто сделать код runnable , вы можете просто изменить форму вывода вашего первого плотного слоя на (8*8*256) и повторять блок Conv2DTranspose->BatchNormalization->LeakyReLU, пока он не станет(512*512) для серой шкалы или (512*512*3) для RGB.
Для дискриминатора единственное необходимое изменение - это только input_shape в первом слое.Так как Conv2D с padding='same' не меняет форму тензоров.

Однако , указанные выше изменения не гарантируют хорошего результата вашей модели.Вы действительно должны изучить свою задачу, чтобы решить, какой должна быть ваша модель архитектуры.

...